Hugging Face научилась обучать открытые модели прямо в агентах Claude Code и Codex

Hugging Face научилась обучать открытые модели прямо внутри Claude Code, Codex, OpenCode и других агентов для программирования, ничего в них не меняя, — написал в соцсети X глава компании Клеман Деланг.

Почему это важно: результат модели сильно зависит от агента, в котором она работает, а учат её обычно не там, где ею потом пользуются. По замерам команды, одна и та же модель решает 62% задач в простой обвязке¹ Mini-SWE-Agent и 33% — в Claude Code.

Общая картина: при обучении с подкреплением модель решает задачи и получает награду за удачные решения. Чтобы учить её так внутри настоящего агента, его обычно приходится заново писать в виде учебной среды, поэтому большинство моделей учат в обвязке, которую никто не выпускает как продукт.

Как это работает: «Решение — прокси, а не переписывание», — пишет Деланг. Между агентом и моделью встаёт посредник:

• Агент думает, что обращается к API обычной модели, а на деле говорит с прокси, который понимает четыре формата: OpenAI Chat Completions, OpenAI Responses, Anthropic Messages и Gemini.
• Прокси передаёт запросы открытой модели на сервере vLLM² и записывает, какие именно токены она выдала и с какой вероятностью.
• Из этих записей библиотека обучения TRL собирает примеры, на которых модель учится, — так сам агент становится учебной средой.

Детали: через прокси уже работают десять агентов, среди них Hermes и Pi, и ни один не пришлось переделывать. Открыто всё: прокси вошёл в OpenEnv³, программа обучения — в TRL, выложены также задачи, данные, код и все семь обученных моделей.

В цифрах: подход проверили на небольшой модели LFM2.5-2.6B от Liquid AI⁴, набор задач Деланг не называет:

• После обучения в одном агенте модель стала лучше в основном в нём же: в OpenCode доля решённых задач выросла с 34% до 58%.
• После обучения сразу в четырёх агентах результат вырос во всех четырёх — в среднем с 42% до 54%.
• Обычное дообучение на 3 189 решениях, записанных за моделью Qwen3.8-27B, остановилось на 47,5% — ниже обоих вариантов с подкреплением.

Ещё один результат: награду задаёт тот, кто учит, и команда добавила небольшой бонус за решение задачи меньшим числом вызовов инструментов. На задачах, которые модель и так решала, она стала делать на 31% меньше вызовов, причём во всех агентах, а в Codex — примерно вдвое меньше.

Так уже было: в июле 2026 года исследователи Колумбийского университета, Дартмутского колледжа и Microsoft Research описали похожую систему OpenForge RL: в ней прокси перед агентом тоже записывает вызовы модели как данные для обучения.

Что дальше: пока подход проверили на двух небольших моделях — LFM2.5-2.6B и Qwen3.5-2B. Следующими Деланг обещает модели крупнее и более масштабное обучение.