Microsoft испытала способ удешевить работу ИИ-агентов для программирования
Метод APEC готовит сводки истории работы в фоне и в испытаниях позволил сократить расходы на ИИ-агентов максимум на 25,4%.
Microsoft Research испытала APEC — метод, который позволяет ИИ-агенту продолжать писать и менять код, пока история его предыдущей работы превращается в краткую сводку.
В цифрах: исследователи изучили 13,5 млн сеансов работы агентов для программирования. Сжатие истории потребовалось менее чем в 8% сеансов, но на них пришлось 44% всех обработанных токенов — фрагментов текста, с которыми работают модели.
Как это работает: модель может одновременно учитывать лишь ограниченный объём текста. Когда долгая переписка перестаёт помещаться, агент заменяет ранние сообщения краткой сводкой — это называют сжатием контекста. Обычно на подготовку сводки приходится прерывать основную работу; APEC составляет её заранее в фоне.
Детали: для сравнения способов сжатия исследователи создали COMPACTIONBENCH — набор проверок на долгих задачах программирования. В испытаниях авторов APEC улучшил качество выполнения задач и позволил снизить расходы максимум на 25,4%. Исследователи также сообщили о сокращении времени выполнения на 9,6%.