OSWorld-Verified
Исправленная версия бенчмарка OSWorld, в котором ИИ-агент выполняет задачи на настоящем компьютере — в браузере, офисных программах, графических редакторах и других приложениях. Авторы из XLANG Lab исправили в задачах и проверках более 300 ошибок и перенесли запуск в облако, чтобы результаты разных агентов было проще воспроизвести и сравнить.
проверено по: xlang.ai ↗
См. также
- OSWorldБенчмарк и среда для оценки мультимодальных ИИ-агентов на настоящем компьютере. В виртуальных машинах с Ubuntu, Windows или macOS агент выполняет задачи в браузере, офисных и других приложениях и файловой системе, управляя экраном, мышью и клавиатурой. Успех проверяют скрипты по итоговому состоянию системы, а не по тексту ответа.
- Terminal-BenchTerminal-Bench — бенчмарк для ИИ-агентов, работающих в командной строке: агент получает задачу в изолированном окружении (собрать проект, настроить систему, починить ошибку), и результат проверяется автоматическими тестами. Выходят разные версии набора задач, поэтому оценки на них несопоставимы между собой.
- SWE-bench VerifiedSWE-bench Verified — вариант бенчмарка SWE-bench, набор реальных задач из открытых репозиториев GitHub, отобранных и проверенных людьми на корректность и решаемость. Модель или агент должны по описанию проблемы внести правку в код так, чтобы прошли соответствующие тесты; этот набор используется как основной ориентир при сравнении ИИ-программистов.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Alibaba представила трёх ИИ-агентов, которые сами действуют в смартфоне
Бенчмарк, в котором ИИ-агент управляет настоящим компьютером и выполняет задачи в обычных программах. Verified — исправленная версия исходного теста OSWorld с перепроверенными задачами.