VulcanBench

Открытый бенчмарк для оценки ИИ-агентов для программирования на реальной инженерной работе: агент получает целый репозиторий и задачу, вносит правки в несколько файлов, а результат проверяют скрытые от него тесты в изолированной Docker-песочнице. Задачи собраны из реальных принятых пул-реквестов в проектах на Python, Rust, TypeScript, Go и других языках, сделанных после даты отсечения обучающих данных моделей, чтобы снизить загрязнение данных. Независимый проект разработчика Моргана Линтона, не связанный с создателями моделей; в отличие от SWE-bench, где задачи взяты из старых задач на GitHub, набор обновляется свежими задачами.

проверено по: github.com ↗