Alice AI Search Pretrain

Alice AI Search Pretrain — языковая модель, которую Яндекс обучил с нуля. На ней построены быстрые ИИ-ответы в Поиске. На Hugging Face она выложена под именем AliceAI-T5-35B-A0.6B. Это базовая модель: она прошла только первый этап обучения, предобучение, и много знает о мире, но собеседником её ещё не сделали. Её дообученная версия, Alice AI Search, с июля пишет ответы под поисковой строкой Яндекса.

Устроена она необычно для открытых моделей. Схема «кодировщик — декодировщик» (encoder-decoder, как у T5 от Google) сначала разбирает весь входной текст, например найденные поиском страницы, и только потом пишет ответ. Кроме того, это смесь экспертов (mixture of experts): в каждом таком слое 512 небольших подсетей, и на каждый токен включаются восемь из них. Поэтому из 35 млрд параметров в работе одновременно около 0,6 млрд. Прежняя модель Поиска была обычной, без экспертов. Слои экспертов добавили, чтобы модель вмещала больше знаний, а вычислений требовала почти столько же. Её обучили на 15 трлн токенов из корпуса Яндекса, в основном на русском языке.

Модель рассчитана на то, чтобы за несколько секунд собрать короткий ответ из найденного поиском, даже при пиковой нагрузке. Яндекс приводит такие замеры: 81,3 балла в тесте на знание фактов WikiWebFacts, 78,5 в MMLU и 94,7 в Ruler на длине 32 тыс. токенов (этот тест проверяет, как модель находит нужное в длинном тексте). В слепых сравнениях ответов она, по данным компании, обходит Qwen 3.5 2B и 4B и T5 Gemma 2 4B-4B, а вот Qwen 3.5 35B-A3B, которой нужно намного больше вычислений, уступает немного. Модель берут как основу, чтобы дообучить под свою задачу: поиск по документам, короткие ответы по источникам, обработку русских текстов. Авторы приложили пример дообучения с адаптерами LoRA — небольшими добавочными слоями, которые обучают вместо всей модели.

Главная оговорка — скорость. Снаружи модель запускается через библиотеку Transformers с собственным кодом Яндекса, а оптимизированный инференс для рабочей среды пока есть только внутри компании. В общих знаниях она отстаёт от моделей покрупнее: в MMLU у Qwen 3.5 35B-A3B 84,4 балла. Веса распространяются под лицензией Apache 2.0, она разрешает и коммерческое использование.

источники:Статья Яндекса на Хабре о модели ↗Карточка модели на Hugging Face ↗