Jan.ai/koboldAI - 로컬 LLM 실행

Ollama면 대게 다 되는데, 이번에 좀 더 쉽게 개인 PC에서 LLM들 구동할 수 있는 방향을 찾아보면다 발견. 웹페이지는 여기. 깃헙 등에서 local llm 등으로 검색하면 좀 더 많은 자료 찾을 수 있더라. 이외에도 gpt4all, koboldAI, TabbyAPI + exllama, vllm, LM Studio, Aphrodite, llama.cpp, ramalama, localai.io, 등 많은 앱과 방법이 있더라. 이번에 찾으면서 GGUF, GGML이라는 것도 알게됨.

 

으음... 일단 필요한 건 적당한 CPU와 메모리로 LLM을 구동할 수 있으면 하고, 조금 마이너한 LLM도 돌려볼 수 있었으면 해서 좀 찾아봄.  koboldAI가 여러모로 ChatGPT 비슷하게 써먹어 볼 수 있지 않나 싶다. 이거 좋아요....