MiMo-V2.6-Flash-RL

Что это за модель

MiMo-V2.6-Flash-RL — младшая модель линейки MiMo-V2.6. Она вышла одновременно с флагманом MiMo-V2.6-Pro-RL. Модель построена как смесь экспертов: сеть разбита на много узких блоков-«экспертов», и каждый токен обрабатывают только некоторые из них. Всего у неё 309 млрд параметров, из них на каждый токен работают около 15 млрд: это 8 экспертов из 256. Текст, картинки, видео и звук модель понимает сама, без внешних надстроек. Для зрения и звука у неё есть отдельные небольшие кодировщики.

Чтобы длинный контекст обходился дешевле, большинство слоёв смотрят только на ближайший фрагмент текста в 128 токенов. На весь контекст смотрит лишь каждый шестой слой. По данным Xiaomi, так памяти на кэш нужно почти вшестеро меньше. Ещё у модели есть модуль, который предсказывает сразу несколько следующих токенов. По словам лаборатории, он заметно ускоряет выдачу ответа.

Главное отличие V2.6 от линейки V2.5 — масштабное обучение с подкреплением, то есть на оценках собственных попыток модели. Xiaomi смешивала в одних и тех же партиях задачи по программированию, агентной работе, зрению и кибербезопасности. Само обучение компания показывала в прямом эфире на открытой панели с показателями и затратами. По замерам лаборатории, Flash немного уступает Pro: 67,9% против 71,9% на тесте DeepSWE v1.1. На OSWorld-Verified, где модель управляет компьютером, у неё 80,8%, на Toolathlon-Verified, где проверяют работу с инструментами, — 73,6%, на CyberGym — 95,1%.

Модель берут, когда нужен агент для кода, работы с инструментами или анализа уязвимостей, а флагман слишком дорог или медленен. Веса открыты под лицензией MIT: модель можно дообучать и применять в коммерческих продуктах. Отдельного списка ограничений Xiaomi в карточке модели не приводит.

Источники: Карточка модели на Hugging Face, Трансляция обучения MiMo-V2.6