Яндекс проверяет на открытой нейросети архитектуру будущей модели Алисы AI

Яндекс официально представил Alice AI Foundation LLM — открытую языковую модель, обученную полностью с нуля. Компания рассказала, что проверяет на ней архитектуру будущей рассуждающей модели для Алисы AI.

Почему это важно: по модели видно, на чём Яндекс собирается строить агентов в Алисе AI. Разработчики могут бесплатно брать её за основу своих продуктов, в том числе коммерческих: это разрешает лицензия Apache 2.0.

Повод: веса модели Яндекс выложил ещё 12 сентября на Hugging Face¹ под именем AliceAI-Foundation-80B-A3B-Base. 21 сентября вышли официальный анонс и технический отчёт на Хабре с подробностями обучения.

Общая картина: модель экспериментальная. На ней Яндекс отрабатывает архитектурные решения для будущей единой рассуждающей модели (ЕРМ). Та ляжет в основу агентных возможностей Алисы AI: пользователи смогут поручать ассистенту конкретные действия. Когда выйдет ЕРМ, компания не говорит.

Как это работает: в модели 80 млрд параметров, но на каждый токен (фрагмент текста) работают только 3 млрд. Это смесь экспертов: на каждом шаге включается лишь часть сети, поэтому модель быстрая и не требует больших вычислительных мощностей. Это базовая версия: основное обучение она прошла, а под свои задачи разработчики дообучают её сами.

В цифрах: по замерам Яндекса:

• На олимпиадных задачах по математике модель делит первое место с Qwen3.5-35B-A3B-Base от Alibaba и решает подавляющее большинство заданий.
• В тестах на написание кода она обходит Nemotron-3-Super-120B-Base от NVIDIA, хотя задействует вчетверо меньше активных параметров.
• На вопросах о фактах она опережает более крупную DeepSeek-V4-Flash-Base, в которой 284 млрд параметров, из них 13 млрд активных.
• По знанию фактов она на уровне прошлой закрытой модели Яндекса Alice AI LLM, у которой втрое больше параметров и всемеро больше активных.

Детали: больше всего Яндекс рассказывает о том, как экономил вычисления при обучении:

• Оптимизатор, то есть программу, которая управляет обучением, перестроили: данные между видеокартами пересылаются одновременно с вычислениями, и шаг оптимизации стал примерно вдвое быстрее.
• Прогнать весь корпус через тяжёлую модель, которая отбирает качественные документы, стоило бы более 200 тыс. часов работы видеокарт.
• Поэтому тексты сначала проходят каскад классификаторов: вычислений стало в десятки раз меньше, а полезных документов сохранилось около 95%.
• Кроме того, инженеры заметно расширили обучающие данные по праву, медицине и математике.

Но: все сравнения провёл сам Яндекс. Чтобы результаты можно было повторить, компания открыла два своих бенчмарка² для проверки знаний на русском, вместе с эталонными ответами и протоколом оценки:

• WikiWebFacts — короткие вопросы о датах, событиях, определениях и людях, собранные по онлайн-энциклопедиям и частым поисковым запросам.
• HardMultiQA собран из обезличенных запросов к Алисе AI о медицине, праве, IT и искусстве: нужно выбрать несколько ответов, перечислить факты или найти ошибку.

Подробнее: 10 сентября Яндекс открыл ещё одну базовую модель — AliceAI-T5 на 34 млрд параметров.