Ollama.com - 오픈소스 LLM 프레임워크

대규모 언어 모델(Large Language Model)을 로컬 환경에서 손쉽게 실행할 수 있게 해주는 Ollama 프레임워크입니다. 윈도에서도 사용할 수 있네요. 사용법은 간단합니다. 깃헙 페이지에서 확인할 수 있고, 윈도우즈의 경우 윈도 버전을 받은 뒤 설치하고, cmd 창 등에서 ollama run mistral 과 같이 사용하려는 llm을 실행하면, 알아서 다운로드하고 진행됩니다.

 

N100 과 같은 프로세서를 사용하는 시스템이나 라즈베리 파이 5와 같은 장치에서도 개인용 로컬 LLM 서버를 만들 수 있는 건 좋은 점이긴 하지만, 12700K환경에서도 상당한 CPU 사용률을 보이는 것을 보면 GPU 기반으로 작동을하는 게 좋지 않나 싶습니다. 이외에 로컬로 LLM을 구동할 수 있는 오픈소스 제품으로는 llamafile, gpt4all, LMStudio 같은 게 있으니 참조하세요.