τ-Voice
τ-Voice — бенчмарк компании Sierra для оценки голосовых ИИ-агентов на задачах клиентской поддержки (ритейл, авиаперевозки, телеком). Он одновременно проверяет, доведено ли дело до конца по правилам компании, и качество разговора в реалистичных условиях — с шумом, акцентами и перебиваниями. Развивает текстовый бенчмарк τ-bench той же компании.
проверено по: sierra.ai ↗
См. также
- τ³-benchτ³-bench (Tau3) — бенчмарк компании Sierra для ИИ-агентов, третье поколение семейства τ-bench. Агент в нём не отвечает на разовые вопросы, а ведёт многошаговый диалог с симулированным пользователем и вызывает инструменты, чтобы довести до конца клиентскую задачу в доменах вроде авиаперевозок, ретейла, телекома и банковских услуг, соблюдая правила компании.
- SierraАмериканская компания, создающая платформу для ИИ-агентов, которые от имени бизнеса общаются с клиентами: отвечают на вопросы и выполняют действия во внутренних системах компании, например находят заказ или переносят доставку. Основана Бретом Тейлором и Клэем Бейвором.
- Full-Duplex-BenchFull-Duplex-Bench — открытый исследовательский бенчмарк для голосовых диалоговых моделей, работающих в полнодуплексном режиме. Он автоматическими метриками оценивает поведение в живом разговоре: реакцию на паузы, поддакивания, смену реплик и обработку перебиваний.
В новостях
Google встроила голосовую Gemini 3.8 Live в Gmail, Docs и поиск. Кому это доступно
Бенчмарк для голосовых агентов: проверяет, как модель в разговоре с клиентом доводит до конца задачи вроде оформления заказа или изменения брони.