Cohere нашла, как втрое удешевить команду агентов для программирования

Команда ИИ-агентов¹ пишет программы лучше, чем агент-одиночка, а выгоднее всего она работает, когда помощники на дешёвой модели только изучают задачу, а код пишет ведущий на сильной, показали опыты Cohere. Компания проверяла команды на моделях OpenAI из семейства GPT-5.6: дешёвой Luna, средней Terra и сильной Sol.

Почему это важно: команда агентов прибавляет к доле пройденных тестов до 10 процентных пунктов², но стоит в 3–7 раз дороже одного агента. По опытам Cohere, большую часть этих денег можно сберечь, если ставить помощников на тот этап, от которого зависит успех.

Общая картина: за последний год команды агентов перешли от демонстраций к большим проектам:

• 16 агентов Claude написали компилятор языка C на 100 тыс. строк, который собирает ядро Linux, и потратили на это 20 тыс. долларов.
• Сотни агентов Cursor, разработчика редактора кода, примерно за неделю написали с нуля браузер больше чем на миллион строк.
• Bun, среду для запуска программ на JavaScript, перевели с языка Zig на Rust за 11 дней, в пике параллельно работали 64 агента Claude.

Как это работает: ведущий агент раздаёт части задачи помощникам, а те отчитываются ему. Задачи взяли из теста ProgramBench: агент получает готовую программу и документацию, но не исходный код, и должен написать свою версию, которая ведёт себя так же.

В цифрах: доля скрытых тестов, пройденных в среднем по 200 задачам:

• Один агент на Sol прошёл 52,1% тестов, команда агентов Sol с тем же запросом — 61,8%.
• Ведущий, который поручил помощникам только изучить программу и составить план, набрал 63,6% — вровень с командой, делегировавшей все этапы (63,2%).
• Команда, где помощники только изучали программу и составляли план, обошлась в 249 долларов за весь набор задач, а делегировавшая все этапы — в 510 долларов.
• Ведущий на Sol с 16 помощниками на Luna набрал 61,8% за 155 долларов — на 70% дешевле команды из одних Sol, делегировавшей все этапы.

Детали: исходный код программы скрыт, и понять её поведение можно, только запуская её. Помощники делают это параллельно, каждый проверяет свою часть, и ведущий пишет код, уже зная, что строить. Когда изучающих программу помощников стало не два, а 16, число её запусков выросло с 15 до 109, а результат — с 59,6% до 61,8%. Больше четырёх помощников на написании кода и проверке результат не улучшали: он даже немного снижался, потому что каждому доставался всё более узкий кусок плана.

Но: у выводов есть границы:

• Дешёвые помощники не спасают слабого ведущего: ведущий на Terra с помощниками на Luna набрал 51,6%, а один агент на Sol, которому в запросе расписали этапы работы, — 57,7%.
• В тесте Commit0, где описание и тесты библиотеки даны заранее, выгоднее всего было поручать помощникам написание кода — в восьми настройках из десяти.
• Переписка агентов напрямую не помогла: в командах на Sol 84% сообщений шли ведущему, а команды на Luna потеряли 4–7 пунктов.

Если шире: Cohere проверила ещё пять моделей на 30 задачах, по одному прогону на каждую настройку:

• Claude Opus 4.8 охотно делил работу, как и GPT-5.6, и в лучшей настройке прибавил 5,9 пункта к одиночному агенту.
• Claude Opus 4.7 почти не раздавал заданий, не больше 1,3 раза на задачу, и от команды выиграл мало.
• Claude Haiku 4.5 и Gemini 3.7 Flash делегировали так же часто, как GPT-5.6, но ничего на этом не выиграли.
• Gemini 3.8 Flash прибавила 3,1 пункта, когда ведущий ждал отчётов помощников, и потеряла 4,6, когда он работал, не дожидаясь их.

Интрига: опыты с Claude Opus 5 Cohere остановила после восьми пробных задач: все упёрлись в восьмичасовой лимит. Каждая стоила около 500 долларов — примерно в 15 раз больше, чем у команды на Opus 4.8.

Что дальше: Cohere изучает, когда агентам полезно переписываться напрямую, и считает, что модели можно отдельно учить руководить командой.