MiMo-V2.6-Pro-RL

Что это за модель

MiMo-V2.6-Pro-RL — старшая модель линейки MiMo-V2.6 от Xiaomi. Она построена как смесь экспертов: в сети 1,02 трлн параметров, но на каждый токен включаются только 42 млрд из них. Поэтому модель работает быстрее и дешевле, чем плотная сеть того же размера. Чтобы держать длинный контекст, большинство слоёв смотрят только на ближайший отрезок текста (скользящее окно), и лишь часть слоёв видит его целиком. К языковой части добавлены отдельные кодировщики для картинок и звука, а небольшой дополнительный блок угадывает сразу несколько следующих токенов и ускоряет ответ.

Главное отличие от MiMo-V2.5-Pro — в дообучении. Xiaomi провела один общий запуск обучения с подкреплением (метод, при котором модель пробует решить задачу и получает оценку за результат) сразу по программированию, агентным задачам, работе с изображениями и кибербезопасности. На каждом шаге модель решала 1568 задач по 16 попыток на каждую. Ход обучения лаборатория показывала публично, на открытой странице с графиками. Рядом с ней вышла облегчённая MiMo-V2.6-Flash-RL, она меньше и дешевле в работе.

Модель берут для агентов: долгих задач, в которых нужно самой писать и править код, вызывать инструменты и управлять компьютером. По замерам лаборатории, она набирает 71,9% в DeepSWE v1.1 (Claude Opus — 74,0%, GPT-5.6 — 73,0%), 82,0% в OSWorld-Verified на управление компьютером и 76,9% в Toolathlon-Verified на работу с инструментами. В тесте по кибербезопасности CyberGym Xiaomi заявляет 94,0% и заметный отрыв от соперников.

Даже по собственным замерам Xiaomi модель в большинстве агентных тестов немного уступает Claude Opus. Веса выложены под лицензией MIT, её можно использовать и в коммерческих целях. Но при триллионе параметров запустить модель у себя можно только на серверном оборудовании с большим объёмом памяти видеокарт.

Источники: Карточка модели на Hugging Face, Страница обучения MiMo-V2.6