xAI에서 대규모 언어 모델(LLM) Grok 4 Fast를 공개했습니다. 기존 Grok 4와 동등한 성능에 비용을 절감하 모델이라고 하네요. 모든 사용자용으로 무료 공개된다고 합니다. 추론, 웹 검색 능력등을 포함해 Grok 3 mini를 크게 웃돌아 Grok 4에 필적한다고 하네요.
LLM이 추론 중에 사용하는 사고 토큰의 강화 학습으로 계산 리소스는 평균 40%, 계산에 필요한 비용은 최대 98%까지 절감하는데 성공하였고 추론/비추론 모델을 동일한 아키텍처로 실현해 리얼타임 앱에 최적화되었다고 하니 참조하세요.