SWE-Bench Pro
Бенчмарк компании Scale AI для оценки ИИ-агентов в программировании. Модель должна решать задачи из реальных репозиториев — исправлять ошибки или добавлять функции, — а решение проверяют тестами. Задачи длиннее и сложнее, чем в SWE-bench Verified, а часть взята из закрытых коммерческих кодовых баз, чтобы снизить риск загрязнения данных.
проверено по: scale.com ↗
См. также
- SWE-bench VerifiedSWE-bench Verified — вариант бенчмарка SWE-bench, набор реальных задач из открытых репозиториев GitHub, отобранных и проверенных людьми на корректность и решаемость. Модель или агент должны по описанию проблемы внести правку в код так, чтобы прошли соответствующие тесты; этот набор используется как основной ориентир при сравнении ИИ-программистов.
- SWE-benchБенчмарк, который проверяет, как языковые модели и агенты справляются с реальной разработкой. Задачи взяты из настоящих обращений (issues) и пул-реквестов в популярных открытых проектах на Python с GitHub. Модель получает код проекта и описание проблемы и должна исправить код так, чтобы прошли тесты. Бенчмарк создали исследователи Принстонского университета; на его основе появились отдельные варианты, например SWE-bench Verified и SWE-bench Multilingual.
- Scale AIАмериканская компания, которая готовит и размечает данные для обучения ИИ-моделей, в том числе силами людей-разметчиков для обучения с подкреплением на основе отзывов людей. Также оценивает модели, проводит ред-тиминг и строит ИИ-системы для корпораций и государственных заказчиков. Крупный акционер компании — Meta.
- Загрязнение данныхСитуация, когда задания или ответы оценочного теста попали в обучающие данные модели (benchmark/data contamination). Тогда высокий балл отражает запоминание, а не способность решать новые задачи, и завышает оценку модели. С этим борются закрытыми, регулярно обновляемыми наборами заданий и проверками на пересечение с обучающим корпусом.
В новостях
Hugging Face выпустила к модели Qwen3.8-27B надстройку под агента для программирования pi
Бенчмарк для агентов-программистов. Агент получает реальный репозиторий и описание задачи и должен внести правку, после которой пройдут скрытые тесты. Задачи длиннее и сложнее, чем в исходном SWE-bench.