SWE-bench Verified
SWE-bench Verified — вариант бенчмарка SWE-bench, набор реальных задач из открытых репозиториев GitHub, отобранных и проверенных людьми на корректность и решаемость. Модель или агент должны по описанию проблемы внести правку в код так, чтобы прошли соответствующие тесты; этот набор используется как основной ориентир при сравнении ИИ-программистов.
проверено по: openai.com ↗
См. также
- SWE-benchБенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
- Terminal-BenchTerminal-Bench — бенчмарк для ИИ-агентов, работающих в командной строке: агент получает задачу в изолированном окружении (собрать проект, настроить систему, починить ошибку), и результат проверяется автоматическими тестами. Выходят разные версии набора задач, поэтому оценки на них несопоставимы между собой.
- Агент для программированияАгент для программирования (coding agent) — ИИ-инструмент, который не ограничивается подсказкой следующих строк кода, а самостоятельно читает проект, редактирует файлы, запускает команды и тесты и исправляет ошибки, пока задача не будет выполнена. Примеры — Claude Code, OpenAI Codex, Cursor и подобные системы; от автодополнения их отличает работа циклом с обратной связью от среды.
В новостях
Anthropic на 90–99% сократила сбор рассуждений Claude для чужих моделей
Бенчмарк из реальных задач по исправлению ошибок в открытых проектах на Python, отобранных и проверенных людьми: модель должна написать правку, которая проходит тесты проекта.
Microsoft описала фреймворк для дообучения готовых ИИ-агентов
Бенчмарк из реальных задач открытых проектов на Python с GitHub, отобранных и проверенных людьми: модель должна исправить ошибку так, чтобы прошли тесты.
Стартап Reflection AI показал первую модель Beam и обещает открыть её веса
Бенчмарк из настоящих ошибок в открытых проектах на Python: модель должна исправить код так, чтобы проходили тесты. Задачи этой версии отобрали и проверили люди.
Xiaomi выпустила малую модель для агентов, дообученную на данных MiMo-V2.6
Бенчмарк для программирующих моделей: реальные задачи из открытых репозиториев на Python, которые люди вручную отобрали и проверили. Модель должна исправить ошибку так, чтобы прошли тесты проекта.