Яндекс выложил языковую модель на 80 млрд параметров, обученную с нуля
Яндекс выложил заготовку языковой модели на 80 млрд параметров для дообучения; по замерам компании, факты на русском она знает лучше более крупных открытых моделей.
Яндекс выложил на Hugging Face языковую модель AliceAI-Foundation-80B-A3B-Base на 80 млрд параметров. Компания обучила её с нуля — от сбора данных до выбора архитектуры.
Почему это важно: модель вышла под лицензией Apache 2.0, поэтому разработчики могут строить на ней свои продукты, в том числе коммерческие. По замерам Яндекса, факты на русском языке она знает лучше более крупных открытых моделей.
Как это работает:
- Модель состоит из 512 небольших подсетей-«экспертов». Под каждый токен она подбирает 10 из них, а ещё одна, общая, работает на любом токене — всего 3 млрд параметров.
- Архитектура гибридная: на каждые три слоя линейного внимания1, которое дешевле обходится на длинных текстах, приходится один слой полного внимания.
- За один раз модель принимает до 262 144 токенов текста.
Детали: модель Яндекс собирал с нуля.
- Компания заново собрала обучающий корпус и отдельно подготовила данные для сложных рассуждений и для работы с инструментами — внешними программами, которые модель вызывает сама.
- Каждое ключевое решение сначала проверяли на пробных моделях, которые тоже обучали с нуля, по 2 трлн токенов на каждую.
- Вместе с весами Яндекс выложил два собственных теста на знание фактов на русском языке, WikiWebFacts и HardMultiQA, и правила подсчёта результатов.
В цифрах: Яндекс сам замерил свою модель и четыре открытые модели других компаний — тоже в версиях без дообучения. Меньше неё только Qwen3.5 от Alibaba на 35 млрд параметров. GLM-4.5-Air от Zhipu AI и Nemotron-3-Super от Nvidia крупнее — на 106 и 120 млрд. Самая большая — DeepSeek-V4-Flash на 284 млрд.
- В русском тесте на знание фактов WikiWebFacts модель набрала 86,5 балла, а заметно более крупная DeepSeek-V4-Flash — 83,2.
- В тесте ExpertFactsQA Law, где вопросы по праву составили профильные эксперты, у неё 49,6 балла против 40,5 у ближайшего соперника.
- В математическом тесте MATH-500 модель набрала 91,1 балла, а лучший из соперников, Nemotron, — 84,8.
- В английском тесте на знание фактов TriviaQA она уступает трём моделям из четырёх: 79 баллов против 89,8 у Nemotron.
Но: это базовая модель — её выпустили без дообучения и выравнивания2, и Яндекс предупреждает, что для пользовательских сервисов она не готова. Даже облегчённое дообучение по примеру из репозитория рассчитано на четыре видеокарты с 80 ГБ памяти каждая.
Подробнее: ранее в сентябре Яндекс уже открыл другую модель — энкодер-декодер3 на 35 млрд параметров. Её дообученная версия пишет быстрые ответы под поисковой строкой.