요즘 Hugging Face 저장소를 둘러보면 gguf 라는 포맷이 눈에 자주 들어온다.기존 Pytorch 모델들은 .pt 라는 확장자를 사용하여 모델의 가중치를 저장하였다.하지만 최근들어서 LLM 모델의 경우 gguf 포맷으로 넘어가고 있는 추세이다. 오늘은 이러한 gguf 포맷이 무엇인지 살펴보고 pt 포맷 보다 어떠한 장점이 있길래 인기를 얻고 있는지 살펴보려고한다. PyTorch에서 GGML, 그리고 GGUF로의 진화초기 LLM 모델 대부분은 PyTorch 와 같은 프레임워크의 기본 포맷인 .pt로 저장되었다.이러한 포맷은 훈련 목적으로는 적합했지만, 모델을 추론하고 서빙하는데는 효율성과 접근성에 제한이 있었다. 1. 모델 아키텍처 의존성.pt 파일은 가중치만 저장하며 모델 클래스의 정의가 코드..

LangChain에서 다양한 모델과 LLM API를 연계해서 사용이 가능하다!!OpenAI나 Claude, Gemma와 같이 유명 API를 활용한다면 손쉽게 LangChain에 연결을 할 수 있다.그러나 해당 API의 경우 일정 금액의 과금이 필수적이다.물론 최근들어 LLM API의 가격이 지속해서 내려가고 있는 추세이지만, 우리같이 한푼한푼이 아쉬운 사람들 위해서 무료로 LLM을 LangChain 사용할 수 있는 방법이 있다. 바로 HuggingFace를 활용하는 것이다. HuggingFace Hub? HuggingFace Hub는 머신러닝 분야에서 가장 큰 오픈 소스플랫폼중 하나로 90만개 이상의 모델, 20만개 이상의 데터셋 30만개 이상의 데모 앱을 호스팅하고 있는 플랫폼이다. 다양한 task와 ..

LangChain 개발 환경 구축(가상환경을 구축하는 것은 생략하겠다)`LangChain`은 `pip`를 사용해서 설치하면된다. 하지만 `LangSmith`이나  `LangGraph`와 같은 추가적인 `LangChain`계열의 라이브러리는 직접 설치해야한다. 1. LangChain 설치pip install langchain 2. 의존성 패키지 설치2.1 langchain communitypip install langchain-community2.2 OpenAI- langchain-openaipip install langchain-openai2.3 HuggingFace- langchain-huggingfacepip install langchain-huggingface2.4 Anthropic- langcha..