τ³-bench
τ³-bench (Tau3) — бенчмарк компании Sierra для ИИ-агентов, третье поколение семейства τ-bench. Агент в нём не отвечает на разовые вопросы, а ведёт многошаговый диалог с симулированным пользователем и вызывает инструменты, чтобы довести до конца клиентскую задачу в доменах вроде авиаперевозок, ретейла, телекома и банковских услуг, соблюдая правила компании.
проверено по: github.com ↗
См. также
- τ-Voiceτ-Voice — бенчмарк компании Sierra для оценки голосовых ИИ-агентов на задачах клиентской поддержки (ритейл, авиаперевозки, телеком). Он одновременно проверяет, доведено ли дело до конца по правилам компании, и качество разговора в реалистичных условиях — с шумом, акцентами и перебиваниями. Развивает текстовый бенчмарк τ-bench той же компании.
- SierraАмериканская компания, создающая платформу для ИИ-агентов, которые от имени бизнеса общаются с клиентами: отвечают на вопросы и выполняют действия во внутренних системах компании, например находят заказ или переносят доставку. Основана Бретом Тейлором и Клэем Бейвором.
- AutomationBenchБенчмарк компании Zapier, который проверяет, как ИИ-агенты выполняют реалистичные деловые процессы в продажах, маркетинге, поддержке, финансах и HR. Агент работает сразу с несколькими приложениями через их API и должен соблюдать заданные правила. Результат проверяют по итоговому состоянию данных в приложениях, а не с помощью модели-судьи.
- Mind2WebНабор данных и бенчмарк для веб-агентов, созданный группой NLP Университета штата Огайо. Состоит из задач на реальных сайтах из множества областей: агент должен выполнить задание по инструкции на обычном языке, а для сравнения записаны последовательности действий людей. Проверяет, справляется ли агент с сайтами и задачами, которых не видел при обучении.
В новостях
Inception выпустила Mercury Voice — модель для голосовых агентов
Бенчмарк компании Sierra для агентов, которые обслуживают клиентов. Модель ведёт диалог с имитацией клиента, в том числе голосом, и решает задачи авиакомпании, магазина, телеком-оператора и банка.
OpenAI открыла разработчикам голосовую модель GPT-Live-1 из ChatGPT
Третья версия бенчмарка τ-bench компании Sierra. ИИ-агент решает в нём задачи поддержки клиентов, общается с имитацией пользователя и работает с инструментами, в том числе голосом в реальном времени.