OSWorld
Бенчмарк и среда для оценки мультимодальных ИИ-агентов на настоящем компьютере. В виртуальных машинах с Ubuntu, Windows или macOS агент выполняет задачи в браузере, офисных и других приложениях и файловой системе, управляя экраном, мышью и клавиатурой. Успех проверяют скрипты по итоговому состоянию системы, а не по тексту ответа.
проверено по: arxiv.org ↗
См. также
- OSWorld-VerifiedИсправленная версия бенчмарка OSWorld, в котором ИИ-агент выполняет задачи на настоящем компьютере — в браузере, офисных программах, графических редакторах и других приложениях. Авторы из XLANG Lab исправили в задачах и проверках более 300 ошибок и перенесли запуск в облако, чтобы результаты разных агентов было проще воспроизвести и сравнить.
- Виртуальная машинаПрограммная эмуляция компьютера, работающая поверх физического сервера и изолированная от других таких машин. Используется, чтобы запускать операционные системы и приложения в отдельной защищённой среде — в том числе для безопасного выполнения действий ИИ-агентов.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
OpenAI выпустила модель GPT-6.1 Sol, близкую к флагманской GPT-6 Astra, но впятеро дешевле
Бенчмарк для агентов, управляющих компьютером. Агент выполняет задачи в настоящей операционной системе: работает с программами, файлами и браузером, как человек.
OpenAI выпустила модели GPT-6 Sol и Luna вдвое дешевле прежних
Бенчмарк для агентов, которые управляют компьютером: модель выполняет многошаговые задачи в настоящих программах и на сайтах, как это делал бы человек.