τ³-bench
τ³-bench (Tau3) — бенчмарк компании Sierra для ИИ-агентов, третье поколение семейства τ-bench. Агент в нём не отвечает на разовые вопросы, а ведёт многошаговый диалог с симулированным пользователем и вызывает инструменты, чтобы довести до конца клиентскую задачу в доменах вроде авиаперевозок, ретейла, телекома и банковских услуг, соблюдая правила компании.
проверено по: github.com ↗
См. также
- SierraАмериканская компания, создающая платформу для ИИ-агентов, которые от имени бизнеса общаются с клиентами: отвечают на вопросы и выполняют действия во внутренних системах компании, например находят заказ или переносят доставку. Основана Бретом Тейлором и Клэем Бейвором.
- Mind2WebНабор данных и бенчмарк для веб-агентов, созданный группой NLP Университета штата Огайо. Состоит из задач на реальных сайтах из множества областей: агент должен выполнить задание по инструкции на обычном языке, а для сравнения записаны последовательности действий людей. Проверяет, справляется ли агент с сайтами и задачами, которых не видел при обучении.
В новостях
Inception выпустила Mercury Voice — модель для голосовых агентов
Бенчмарк компании Sierra для агентов, которые обслуживают клиентов. Модель ведёт диалог с имитацией клиента, в том числе голосом, и решает задачи авиакомпании, магазина, телеком-оператора и банка.