얀덱스, 800억 파라미터 AI 모델 공개

얀덱스(Yandex)가 전체 800억개 파라미터 가운데 각 토큰 처리에 30억개만 활성화하는 대규모 언어모델을 공개했다. 러시아어 지식과 추론을 겨냥한 기초 모델로, 일반 사용자가 바로 쓰는 완성형 챗봇은 아니다. 얀덱스는 21일 AliceAI-Foundation-80B-A3B-Base를 공개했다. 모델 가중치는 Hugging Face에 게시됐으며 상업적 이용과 수정·배포가 가능한 Apache 2.0 라이선스가 적용됐다. 모델은 여러 전문가 모듈 가운데 일부만 계산에 참여하는 MoE(Mixture of Experts) 구조다. 48개 레이어와 512개 전문가 모듈을 사용하며 최대 컨텍스트 길이는 26만2144토큰이다. 얀덱스는 외부 공개 모델의 가중치를 사용하지 않고 처음부터…