AutomationBench
Бенчмарк компании Zapier, который проверяет, как ИИ-агенты выполняют реалистичные деловые процессы в продажах, маркетинге, поддержке, финансах и HR. Агент работает сразу с несколькими приложениями через их API и должен соблюдать заданные правила. Результат проверяют по итоговому состоянию данных в приложениях, а не с помощью модели-судьи.
проверено по: zapier.com ↗
См. также
- AutomationBench-AAНезависимый вариант бенчмарка AutomationBench компании Zapier, который Artificial Analysis прогоняет на закрытом наборе задач. ИИ-агент выполняет рабочие сценарии в симуляциях сервисов вроде Gmail, Slack, Salesforce и Jira и при этом должен соблюдать бизнес-правила. Если правило нарушено, задача получает ноль баллов.
- Artificial AnalysisArtificial Analysis — независимая компания, которая сама тестирует ИИ-модели и API-провайдеров и публикует сравнения по качеству, цене, скорости и задержке. Она оценивает языковые модели, а также модели для речи, изображений, видео и музыки, и ведёт сводный рейтинг Intelligence Index.
- ИИ-агентПрограмма, обычно на основе языковой модели, которая не просто отвечает на вопрос, а сама выполняет многошаговую задачу: планирует шаги, вызывает инструменты и внешние сервисы, работает с файлами и данными и учитывает промежуточные результаты. От обычного чат-бота отличается самостоятельностью: человек ставит цель, а последовательность действий агент выбирает сам.
- GDPvalБенчмарк OpenAI, который оценивает модели на реальных рабочих задачах специалистов десятков профессий из отраслей с наибольшим вкладом в ВВП США. Каждое задание основано на настоящем рабочем результате опытного профессионала: документе, таблице, презентации и т. п. Эксперты вслепую сравнивают результат модели с работой специалиста — в отличие от бенчмарков из экзаменационных вопросов.
В новостях
OpenAI выпустила модели GPT-6 Sol и Luna вдвое дешевле прежних
Открытый бенчмарк компании Zapier: проверяет, может ли ИИ-агент довести до конца деловой процесс, который идёт сразу через несколько приложений — почту, календарь, CRM, — и соблюсти заданные правила.