대규모 언어 모델(Large Language Model)을 로컬 환경에서 손쉽게 실행할 수 있게 해주는 Ollama 프레임워크입니다. 윈도에서도 사용할 수 있네요. 사용법은 간단합니다. 깃헙 페이지에서 확인할 수 있고, 윈도우즈의 경우 윈도 버전을 받은 뒤 설치하고, cmd 창 등에서 ollama run mistral 과 같이 사용하려는 llm을 실행하면, 알아서 다운로드하고 진행됩니다. **관련 정보는 레딧에서 좀 더 많은 도움을 받을 수 있었습니다. 레딧 대단해.... N100 과 같은 프로세서를 사용하는 시스템이나 라즈베리 파이 5와 같은 장치에서도 개인용 로컬 LLM 서버를 만들 수 있는 건 좋은 점이긴 하지만, 12700K환경에서도 상당한 CPU 사용률을 보이는 것을 보면 GPU 기반으로 작동을..