llama4

META가 지난 5일 텍스트 및 이미지 모두를 이해하는 최신 멀티모달 지원 생성 AI 'Llama 4'를 발표했습니다. MbE(Mixture of Experts) 아키텍처를 활용한 훈련을 진행한 첫 번재 모델이라고 하네요. FP8 정밀도를 이용한 학습으로 효율화를 도모했고, 특수 데이터 세트를 사용하여 장문 처리 능력 및 사후 학습 최적화도 진행한 모델이라고 합니다. 최상위 모델은 2,880억개의 액티브 파라미터, 16 엑스퍼트, 2조개에 달하는 파라미터를 가진 Llama 4 Behemoth, 중간 모델로 170억 액티브 파라미터, 128개 엑스퍼트, 4,000억 파라미터의 Llama 4 Marverick, 마지막으로 170억 액티브 파라미터, 16 엑스퍼트, 1,090억 파라미터를 가진 Llama 4 ..