Mistral позволила компаниям запускать у себя Large 4 для многошаговых задач

Mistral открыла веса Mistral Large 4 — модели для рассуждений и долгих задач с программами. В техническом отчёте команда объяснила, почему ради такой работы переделала уже обученную модель.

Почему это важно: Агенту, который пишет код и запускает проверки, нужен доступ к файлам и результатам прежних шагов. В экспериментах Mistral модели со схожими показателями предсказания текста по-разному исправляли код — одной этой метрики оказалось недостаточно для выбора архитектуры.

Повод: Отчёт датирован 2 ноября. На следующий день Mistral представила его в соцсети X как историю создания Le Chonk — так компания называет ML4.

Детали: В первоначальной архитектуре большинство слоёв модели видело лишь последние 512 токенов — небольших фрагментов текста. Некоторые слои также совместно использовали сохранённые данные о предыдущем контексте. Вместе эти приёмы сократили объём такой памяти в 16 раз относительно варианта с полным доступом к истории. Однако при одинаковом объёме обучения ограничение истории снижало результат в SWE-bench Verified — тесте на исправление ошибок в программных проектах. Совместное использование памяти ухудшало его ещё сильнее.

Как это работает: Вместо обучения с нуля авторы изменили уже подготовленную модель. Слоям вернули доступ ко всей истории, а часть совместного использования памяти между ними убрали. Сохранили схему YOCO: поздние слои с доступом ко всей истории используют память более ранних слоёв. При испытании на модели того же размера, что и Large 4, это давало лучший результат, чем отказ от YOCO. Затем добавили обучаемый механизм, который при обработке каждого токена отбирает 2 048 наиболее важных токенов из предыдущего текста. Это позволило снизить стоимость обработки длинной истории.

Обучение: Для дообучения агенты создавали задания, эталонные решения и среды для запуска кода. В задачах на исправление ошибок они подбирали тесты, которые проваливались до правки и проходили после неё. Другие агенты пробовали решить задания, после чего отдельный агент исправлял неясные условия и ненадёжные тесты. Команда также проверяла, нельзя ли получить награду в обход решения задачи; авторы подчёркивают, что самим агентам нужна внешняя проверка и надзор.

В цифрах: В итоговых замерах авторов ML4 решила 41% задач Terminal-Bench 4.0, где агент работает с командной строкой. Приведённый в той же таблице результат GLM-5.3 — 40%. Это сравнение готовых моделей: оно не показывает, какую часть результата обеспечила именно переделка архитектуры.

Доступ: Сжатая версия модели занимает 606 ГБ. По данным команды, её можно развернуть на четырёх ускорителях GB300. В проведённых авторами тестах она сохранила результаты эталонной версии с более точным представлением чисел.