shimmy - 경량 OPenAI API 서버
반응형
Ollama보다 훨씬 작은 4.8MB 단일 바이너리 형태로 로컬 LLM을 구동할 수 있고, OPenAI API와 호환된다고 합니다. 광고 없이 무료라고 하고요. 사용법은 CLI이지만 간단하게 사용할 수 있습니다. CPU 오프로딩, 하이브리드 가속 등을 제공한다고 하고요.
윈도에서 사용하려면 LLVM이 사전 설치되어야 한다고 하니 참조하세요.
반응형
'Web.World > Ai.ML.SD' 카테고리의 다른 글
| Figma Weave: 피그마의 새로운 AI 네이티브 환경 (0) | 2025.10.31 |
|---|---|
| Higgsfield AI, Face Swap, instadump 등 공개 (0) | 2025.10.31 |
| Morphic, Frames to Video 기능 추가 (0) | 2025.10.30 |