META, Llama 4 공개

META가 지난 5일 텍스트 및 이미지 모두를 이해하는 최신 멀티모달 지원 생성 AI 'Llama 4'를 발표했습니다. MbE(Mixture of Experts) 아키텍처를 활용한 훈련을 진행한 첫 번재 모델이라고 하네요. FP8 정밀도를 이용한 학습으로 효율화를 도모했고, 특수 데이터 세트를 사용하여 장문 처리 능력 및 사후 학습 최적화도 진행한 모델이라고 합니다.

 

최상위 모델은 2,880억개의 액티브 파라미터, 16 엑스퍼트, 2조개에 달하는 파라미터를 가진 Llama 4 Behemoth, 중간 모델로 170억 액티브 파라미터, 128개 엑스퍼트, 4,000억 파라미터의 Llama 4 Marverick, 마지막으로 170억 액티브 파라미터, 16 엑스퍼트, 1,090억 파라미터를 가진 Llama 4 Scout, 이렇게 3종류라고 합니다.

 

Scout, Maverick 모델은 Meta 웹 및 HuggingFace를 통해 내려받아 활용할 수 있다고 합니다. 다만 META AI 웹은 국내에서 아직 서비스를 하진 않아 대화 체험은 다른 서비스를 활용해야 하지 않나 싶습니다.