Яндекс открыл языковую модель, на которой строит ответы Алисы AI в Поиске
Открытая модель Яндекса устроена как энкодер-декодер, на каждый токен задействует 0,6 из 35 млрд параметров и, по тестам компании, сильна в фактах, но слабее в математике.
10 сентября Яндекс выложил на Hugging Face базовую языковую модель AliceAI-T5. В ней около 35 млрд параметров, но на каждый токен работают лишь 0,6 млрд. По словам компании, на основе этой модели построены ответы Алисы AI в Поиске.
Почему это важно: почти все популярные открытые модели состоят из одного декодера, который и читает запрос, и пишет ответ. AliceAI-T5 устроена иначе. Её выложили под лицензией Apache 2.0, которая разрешает и исследования, и коммерческое применение.
Как это работает: у модели две части и сотни подсетей-«экспертов».
- Энкодер из 16 слоёв сначала читает весь входной текст, а декодер из 12 слоёв пишет по нему ответ.
- В каждом слое с экспертами их 512, и для каждого токена модель включает только восемь.
- Поэтому из 34,35 млрд параметров в расчёте каждого токена участвуют около 0,6 млрд.
- Модель держит контекст до 128 тыс. токенов, а обучали её с нуля на 15 трлн токенов из собственного корпуса Яндекса.
Между строк: схему выбрали под поиск. По словам авторов, энкодер-декодер с экспертами хорошо разбирает поисковый контекст и пишет ответы по найденным документам. Похожие модели крупные лаборатории делали и раньше, но современных открытых версий почти не было.
В цифрах: результаты заявил сам Яндекс и посчитал их на своей инфраструктуре. Главный соперник в таблице — Qwen 3.5 35B-A3B от Alibaba. У неё тот же общий размер, но на каждый токен работают 3 млрд параметров.
- В двух собственных тестах Яндекса на знание фактов AliceAI-T5 обошла все модели из сравнения: в WikiWebFacts она набрала 81,3 балла, а Qwen — 62,4.
- В тесте Ruler на работу с текстом длиной 32 тыс. токенов у неё 94,7 балла — лучший результат в таблице.
- В MMLU на общие знания она набрала 78,5 балла, а Qwen 3.5 35B-A3B — 84,4.
- В сложной математике она уступает даже маленькой Qwen 3.5 4B: в MATH 500 у неё 62,9 балла, у Qwen — 69,5.
Если шире: в таблице есть ещё одна модель той же схемы — T5 Gemma 2 4B-4B от Google. AliceAI-T5 обходит её во всех 13 тестах.
Но: это базовая модель. Она продолжает текст, а не ведёт диалог, и под конкретные задачи её придётся дообучать. Ускоренную программу для запуска модели, на которой она работает в Поиске, Яндекс оставил себе: остальные запускают её через библиотеку Transformers1. Веса занимают около 69 ГБ.
Детали: в карточке модели есть пример дообучения методом LoRA2 на открытом наборе инструкций Alpaca. Энкодер можно загрузить отдельно, без декодера.