Словарь
AppWorld
Бенчмарк и среда для проверки ИИ-агентов, созданные исследователями Университета Стоуни-Брук. Среда имитирует повседневные приложения (почту, платёжные сервисы, заметки и т. п.) с данными вымышленных пользователей. Агент выполняет многошаговые поручения, сам пишет код, который вызывает API этих приложений. Результат проверяется по итоговому состоянию среды, поэтому засчитываются разные способы решения, а лишние побочные изменения отлавливаются.