Hugging Face выпустила к модели Qwen3.8-27B надстройку под агента для программирования pi
По замерам Hugging Face, модель Qwen3.8-27B с надстройкой компании решает в агенте для программирования pi вдвое больше трудных задач на правку кода из теста SWE-bench Pro, а вызовов инструментов на задачу делает более чем вдвое меньше.

Команда Hugging Face выложила надстройку к открытой модели Alibaba Qwen3.8-27B, обученную работать внутри агента для программирования pi. Надстройку представил в соцсети X глава компании Клеман Деланг. По замерам авторов, с надстройкой модель решает вдвое больше трудных задач SWE-bench Pro1, а вызовов инструментов на каждую задачу делает более чем вдвое меньше.
Почему это важно: одна и та же модель в разных агентах работает по-разному, потому что у каждого агента свои инструменты, инструкции и порядок действий. Надстройка подстраивает поведение модели под одного агента, а её исходные веса не меняет. Пользователь pi может подключить к агенту ту же Qwen3.8-27B, только с надстройкой. Серверу достаточно один раз загрузить базовую модель и подключать к ней надстройку нужного агента — так одна копия модели обслуживает сразу нескольких агентов.
Как это работает: надстройка — это адаптер LoRA2, небольшой набор дополнительных весов, который загружают поверх исходной модели. Его обучали с подкреплением прямо внутри pi — минималистичного агента с открытым кодом, который работает в терминале. Модель раз за разом решала задачи по программированию и получала награду за верные решения. Есть и версия надстройки для llama.cpp — программы, которая запускает модели на обычных компьютерах. Приложение Llama.app для macOS при первом использовании само скачивает базовую модель в сжатом виде: в варианте из примера авторов файл весит около 17 ГБ.
В цифрах: доля задач, которые модель в агенте pi решила с первой попытки, без надстройки и с ней:
- SWE-bench Pro, 51 самая трудная задача: 29,4% → 62,7%, вызовов инструментов на 55% меньше.
- Terminal-Bench 2.13, 86 задач: 39,5% → 55,8%, вызовов инструментов на 62% меньше.
Детали: в одной из задач SWE-bench Pro нужно было исправить функцию human_to_bytes в Ansible — программе для автоматической настройки серверов. Исходная модель искала нужное место и перезапускала куски кода, пока не упёрлась в лимит в 100 шагов. Модель с надстройкой нашла функцию, исправила её и запустила тесты, а когда они показали ещё один неисправленный случай, поправила функцию и для него. На всё ушло 8 вызовов инструментов.
Общая картина: сам подход команда описала 6 ноября. Тогда надстройки обучали для моделей LFM компании Liquid AI4 и экспериментальной TwIL-8B в трёх разных агентах, в том числе в pi. Часть задач для обучения собрали из сессий агентов, которые люди выкладывали на Hugging Face: починить, написать с нуля или доработать программу, ответить на вопрос по открытым данным платформы. Остальные — вопросы по анализу данных из открытых блокнотов на площадке Kaggle. Если модель решала задачу меньшим числом вызовов, она получала небольшую прибавку к награде. Отдельная программа-посредник проверяла каждый вызов и блокировала явные попытки получить награду, не решив задачу.
Но: версию надстройки для выпуска выбрали по промежуточным результатам в SWE-bench Pro и на 18 задачах Terminal-Bench 2.1. Итоговую оценку провели на тех же тестах, и эти 18 задач в неё тоже вошли. На задачах, по которым выбирали версию, прирост может оказаться завышенным, но на остальных 68 задачах Terminal-Bench доля решённых выросла почти так же — с 39,7% до 55,9%. Каждую задачу модели решали по одному разу, с выключенным режимом рассуждений: с ним надстройку не обучали. Версию для llama.cpp заново не проверяли, а сама надстройка работает только поверх Qwen3.8-27B.
Что дальше: полный рецепт обучения авторы обещают выложить в отдельной статье, чтобы любой мог сделать надстройку под своего агента.
«В этом сила открытых моделей: их можно подстроить под ваши инструменты и ваши задачи», — написал Деланг.