ИИтак

← Назад

словарь

SWE-Bench Pro

Бенчмарк компании Scale AI для оценки ИИ-агентов в программировании. Модель должна решать задачи из реальных репозиториев — исправлять ошибки или добавлять функции, — а решение проверяют тестами. Задачи длиннее и сложнее, чем в SWE-bench Verified, а часть взята из закрытых коммерческих кодовых баз, чтобы снизить риск загрязнения данных.

См. также

В новостях

  1. Hugging Face выпустила к модели Qwen3.8-27B надстройку под агента для программирования pi

    Бенчмарк для агентов-программистов. Агент получает реальный репозиторий и описание задачи и должен внести правку, после которой пройдут скрытые тесты. Задачи длиннее и сложнее, чем в исходном SWE-bench.