ИИтак

← Назад

Microsoft рассказала, как плагин TokenEconomizer удешевил агентов для кода

Плагин TokenEconomizer учит агентов для программирования на их прошлых сессиях в проекте: в тестах задачи подешевели на 18,4–30,9% почти без потери качества.

Схема работы TokenEconomizer Изображение: Microsoft Research

Открытый плагин TokenEconomizer запоминает, что агент для программирования уже выяснил о проекте. На 277 реальных задачах по исправлению ошибок он снизил средние расходы на 18,4–30,9%. Плагин сделали исследователи Калифорнийского университета в Беркли и Microsoft. Статья о нём вышла 15 октября, а теперь Microsoft Research подробно разобрала работу в своём блоге.

разработчики возвращаются в одни и те же проекты день за днём, а агент каждую сессию начинает с нуля. Большинство способов сэкономить при этом работают в пределах одной задачи. TokenEconomizer учится на прошлых сессиях и не меняет ни агента, ни модель: его ставят поверх Claude Code, Codex, GitHub Copilot CLI и других агентов.

каждое обращение агента к модели расходует токены1: вместе с запросом уходят инструкции, описания инструментов и история сессии. Чтобы понять, где они тратятся зря, авторы прогнали Claude Code через 60 задач из SWE-Bench. Это набор реальных исправлений ошибок в открытых проектах на Python.

Задачи каждого проекта шли подряд, и нашлись три вида лишних трат:

  • Агент заново выясняет известное. Когда в проекте набиралось хотя бы пять завершённых задач, 30% обращений к инструментам повторяли действие из прошлой задачи в этом же проекте, а с историей других проектов совпадало лишь 7%.
  • Агент платит за ненужные инструменты. На каждом шаге он получал описания 23 инструментов, из которых 16 ни разу не вызвал.
  • Агент застревает на неудачах. На 17% проваленных задач пришлось 32% всех расходов.

авторы проверили и три популярных открытых плагина с одной постоянной стратегией экономии у каждого. Они помогали в одних проектах и не помогали в других. Поэтому TokenEconomizer подстраивается под проект: после каждой сессии он читает её журнал и обновляет то, что знает о проекте.

Опираясь на эти знания, плагин действует тремя способами:

  • Записывает однострочные заметки о том, что повторяется от сессии к сессии. Агент получает заметку в начале работы, только когда закономерность подтвердили несколько сессий, а если новые сессии ей противоречат, заметка уходит.
  • Убирает инструменты, которыми агент в этом проекте, судя по истории, вряд ли воспользуется. Инструменты для запуска команд и правки файлов остаются всегда, а убранные можно вернуть.
  • Следит, не бьётся ли агент об одну и ту же ошибку. Отдельная модель-судья2 решает, застрял он или ещё продвигается. Застрявшему агенту плагин советует сменить подход, а если и это не помогло, зовёт разработчика, но сам работу не останавливает.

для основной проверки взяли 277 задач SWE-Bench из шести проектов и пять сочетаний агента и модели. В каждом проекте плагин начинал без истории:

  • Средние расходы упали на 18,4–30,9% в зависимости от сочетания и снизились в каждом проекте, а доля решённых задач почти не изменилась.
  • На задачах по веб-разработке, идущих одна за другой (тест Web-Bench), расходы снизились на 16,0–21,2%.
  • В аудите безопасности, где каждая задача — в новом проекте, они снизились на 6,4–19,6%.

Экономия посчитана с учётом того, во что обходятся обращения самого плагина к модели. Каждый из трёх способов экономит и по отдельности, но больше всего — вместе. Для сравнения авторы просто снижали уровень рассуждений3 модели. Так удавалось сэкономить столько же или больше, но результаты заметно ухудшались.

пока плагин учится, первые задачи в новом проекте могут обходиться дороже обычного. По замерам авторов, к шестой задаче суммарные расходы в каждом проекте становились ниже, чем без плагина.

Плагину не нужен собственный API-ключ4, а всё, что он узнал, хранится на компьютере разработчика.

← Все новости