Full-Duplex-Bench
Full-Duplex-Bench — открытый исследовательский бенчмарк для голосовых диалоговых моделей, работающих в полнодуплексном режиме. Он автоматическими метриками оценивает поведение в живом разговоре: реакцию на паузы, поддакивания, смену реплик и обработку перебиваний.
проверено по: arxiv.org ↗
См. также
- Полнодуплексный голосовой режимРежим голосового общения (full duplex), при котором система слушает и говорит одновременно, поэтому собеседник может перебить её или вставить реплику в любой момент. Противопоставляется полудуплексному режиму, где стороны говорят строго по очереди и ассистент начинает отвечать только после конца фразы пользователя.
- Voice ArenaПлатформа краудсорсингового сбора речевых данных, которая привлекает дикторов из сообществ, редко попадающих в речевые корпуса, включая сельские и малые города. В рамках её инициативы Monsoon создаются оценочные наборы для языков глобального Юга.
- τ-Voiceτ-Voice — бенчмарк компании Sierra для оценки голосовых ИИ-агентов на задачах клиентской поддержки (ритейл, авиаперевозки, телеком). Он одновременно проверяет, доведено ли дело до конца по правилам компании, и качество разговора в реалистичных условиях — с шумом, акцентами и перебиваниями. Развивает текстовый бенчмарк τ-bench той же компании.
В новостях
Открытый движок SGLang-Omni поддержал три типа голосовых ассистентов
Бенчмарк для голосовых моделей, которые слушают и говорят одновременно: проверяет, как они реагируют на перебивания, поддакивания и посторонние голоса и как быстро замолкают и отвечают.
OpenAI открыла разработчикам голосовую модель GPT-Live-1 из ChatGPT
Открытый исследовательский бенчмарк для голосовых моделей, которые слушают и говорят одновременно. Он проверяет, как модель выдерживает паузы, вставляет короткие реплики согласия, передаёт слово и реагирует, когда её перебивают.