Microsoft описала фреймворк для дообучения готовых ИИ-агентов

Открытый фреймворк Microsoft дообучает ИИ-агента без переписывания: агент на языковой модели Qwen3.5-9B стал решать с первой попытки 56,4% задач на исправление кода из теста SWE-bench Verified вместо 41,8%.

Microsoft Research Asia подробно описала Agent Lightning v1.0 — открытый фреймворк, который дообучает ИИ-агента обучением с подкреплением¹ прямо в той обвязке², в которой агент работает у пользователей.

Почему это важно: обычно для такого обучения агента собирают заново внутри обучающей системы. Это дорого, и обученная копия ведёт себя не совсем так, как агент, который потом выходит в работу; здесь на учебных задачах учится сам рабочий агент.

Повод: код v1.0 выложен на GitHub 17 августа под лицензией MIT, а теперь авторы рассказали, как он устроен и что показали замеры. Первую версию фреймворка Microsoft открыла в июне 2025 года, v1.0 переписана заново.

Как это работает: между агентом и моделью встаёт посредник — шлюз фреймворка. Агенту достаточно слать запросы на адрес шлюза вместо адреса API модели, а фреймворк записывает каждый запрос, ответ и то, с какой вероятностью модель выбирала каждый токен, — это нужно для обучения.

Весь фреймворк — около 3 500 строк кода в трёх частях:

Шлюз принимает запросы агента в том же формате, что API OpenAI, и привязывает каждый вызов модели к конкретному прогону задачи.
Контроллер запускает агентов локальными процессами или задачами Kubernetes³, отдельно от обучения модели.
Тренер на основе открытой библиотеки для обучения с подкреплением ждёт конца прогонов, собирает записи и превращает их в обучающие примеры.

Детали: обучающая система видит только пары «запрос — ответ», поэтому разные прогоны агента дают разное число обучающих примеров — больше, например, когда агент сжимает контекст или зовёт субагентов. Модель учится по оценке того, насколько прогон удачнее среднего; если считать эту оценку и усреднять ошибку по отдельным примерам, прогоны с большим числом примеров засчитываются по нескольку раз. Авторы считают всё по целому прогону: в опытах с агентом для программирования награда на проверочных задачах выросла сильнее, а обучение шло ровнее.

Расклад: другие фреймворки с тем же подходом чаще держат агентов в платных песочницах вроде Modal Sandbox или E2B, и счёт там быстро растёт с числом агентов. Фреймворк Microsoft запускает их как обычные задачи Kubernetes — на своих кластерах, в облаке или на локальных машинах.

В цифрах:

Прогоны агентов и обучение модели делят одни видеокарты: по замерам авторов, это примерно вдвое быстрее синхронной схемы, где видеокарты простаивают, пока не закончит самый медленный агент.
Видеокарт при этом нужно меньше, чем в асинхронной схеме, где для прогонов и для обучения держат отдельные наборы видеокарт.
Для опыта взяли агента mini-SWE-agent, открытую модель Qwen3.5-9B и около 6 000 примеров на основе открытого набора задач SWE-smith.
Доля задач SWE-bench Verified⁴, решённых с первой попытки, выросла с 41,8% до 56,4%, то есть на 14,6 процентного пункта.

Но: в техническом отчёте авторов опыты поставлены на моделях от 3 до 9 млрд параметров, а опыт с программированием — только на Qwen3.5-9B и простом агенте mini-SWE-agent. Результатов для Claude Code или Codex, которые авторы упоминают среди сложных обвязок, они не приводят.