SWE-Together
Бенчмарк для ИИ-агентов, которые пишут код. Он собран из записей реальных многоходовых сессий, в которых пользователь по ходу работы уточняет цели, добавляет требования и поправляет агента. Диалог воспроизводит симулятор пользователя на основе языковой модели. Оценивается и правильность итогового кода в репозитории, и то, сколько раз человеку пришлось вмешаться. В отличие от бенчмарков, где задачу дают целиком сразу, SWE-Together проверяет агента как напарника.
проверено по: arxiv.org ↗
См. также
- SWE-benchБенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
- SWE-bench VerifiedSWE-bench Verified — вариант бенчмарка SWE-bench, набор реальных задач из открытых репозиториев GitHub, отобранных и проверенных людьми на корректность и решаемость. Модель или агент должны по описанию проблемы внести правку в код так, чтобы прошли соответствующие тесты; этот набор используется как основной ориентир при сравнении ИИ-программистов.
- Terminal-BenchTerminal-Bench — бенчмарк для ИИ-агентов, работающих в командной строке: агент получает задачу в изолированном окружении (собрать проект, настроить систему, починить ошибку), и результат проверяется автоматическими тестами. Выходят разные версии набора задач, поэтому оценки на них несопоставимы между собой.
- Агент для программированияАгент для программирования (coding agent) — ИИ-инструмент, который не ограничивается подсказкой следующих строк кода, а самостоятельно читает проект, редактирует файлы, запускает команды и тесты и исправляет ошибки, пока задача не будет выполнена. Примеры — Claude Code, OpenAI Codex, Cursor и подобные системы; от автодополнения их отличает работа циклом с обратной связью от среды.
- Агентное программированиеАгентное программирование (agentic coding) — подход к созданию программ, при котором ИИ-агент получает цель и сам выполняет цикл работ: планирует, читает и правит код, запускает команды и тесты, анализирует ошибки и повторяет попытки. От подсказок-автодополнения в редакторе отличается длительностью и самостоятельностью действий: человек ставит задачу, задаёт ограничения и принимает результат.
В новостях
Все 12 моделей в бенчмарке SWE-Together скачивали код в обход запрета
Бенчмарк для ИИ-агентов, которые пишут код. Задачи в нём взяты из реальных многоходовых сессий программирования, где агент работает вместе с человеком.