NL2Repo-Bench
Бенчмарк для оценки агентов-программистов на длинных задачах. Агент получает только текстовый документ с требованиями и пустую рабочую папку и должен сам спроектировать и написать с нуля целую библиотеку на Python, которую можно установить. Результат проверяют тестами, которые агенту во время работы не показывают. Этим он отличается от бенчмарков вроде SWE-bench, где агент исправляет код в уже готовом репозитории.
проверено по: arxiv.org ↗
В новостях
Alibaba ускорила обучение ИИ-агентов на многочасовых задачах до 1,85 раза
Бенчмарк для агентов-программистов. Агент получает текстовое описание библиотеки на Python и пустую папку, пишет весь проект с нуля, а результат проверяют тестами.