SWE-bench
Бенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
проверено по: arxiv.org ↗
См. также
- SWE-bench VerifiedSWE-bench Verified — вариант бенчмарка SWE-bench, набор реальных задач из открытых репозиториев GitHub, отобранных и проверенных людьми на корректность и решаемость. Модель или агент должны по описанию проблемы внести правку в код так, чтобы прошли соответствующие тесты; этот набор используется как основной ориентир при сравнении ИИ-программистов.
- Terminal-BenchTerminal-Bench — бенчмарк для ИИ-агентов, работающих в командной строке: агент получает задачу в изолированном окружении (собрать проект, настроить систему, починить ошибку), и результат проверяется автоматическими тестами. Выходят разные версии набора задач, поэтому оценки на них несопоставимы между собой.
- SWE-TogetherБенчмарк для ИИ-агентов, которые пишут код. Он собран из записей реальных многоходовых сессий, в которых пользователь по ходу работы уточняет цели, добавляет требования и поправляет агента. Диалог воспроизводит симулятор пользователя на основе языковой модели. Оценивается и правильность итогового кода в репозитории, и то, сколько раз человеку пришлось вмешаться. В отличие от бенчмарков, где задачу дают целиком сразу, SWE-Together проверяет агента как напарника.
- NL2Repo-BenchБенчмарк для оценки агентов-программистов на длинных задачах. Агент получает только текстовый документ с требованиями и пустую рабочую папку и должен сам спроектировать и написать с нуля целую библиотеку на Python, которую можно установить. Результат проверяют тестами, которые агенту во время работы не показывают. Этим он отличается от бенчмарков вроде SWE-bench, где агент исправляет код в уже готовом репозитории.
В новостях
Аспирант MIT Алекс Чжан считает, что Claude Code, Codex и Pi устроены почти одинаково
Бенчмарк из реальных задач с GitHub: модель должна исправить ошибку в чужом репозитории так, чтобы прошли тесты проекта.
35 исследователей описали пять ступеней к ИИ, который улучшает сам себя
Бенчмарк из реальных задач с GitHub: модель должна исправить код открытого проекта на Python так, чтобы прошли тесты.