Словарь
SWE-bench Multilingual
Бенчмарк из семейства SWE-bench для проверки моделей и агентов для программирования: нужно исправить реальную ошибку или внести изменение из открытого репозитория на GitHub, а решение проверяется тестами проекта. В отличие от исходного SWE-bench и SWE-bench Verified, где все задачи на Python, здесь задачи взяты из проектов на девяти других языках — C, C++, Go, Java, JavaScript, TypeScript, PHP, Ruby и Rust, — чтобы проверить, переносятся ли навыки модели за пределы Python.