Grok Voice Transcribe 2.0

Что это за модель

Grok Voice Transcribe 2.0 — модель SpaceXAI для распознавания речи, то есть перевода звука в текст. Она построена на той же базовой аудиомодели, что и голосовой ассистент Grok Voice. Лаборатория обучала её на живых записях на многих языках, в том числе с шумом, а затем дообучила. Модель работает в двух режимах: расшифровывает готовые файлы и распознаёт речь потоком, прямо во время разговора.

Компания заявляет, что новая версия вдвое точнее Grok Voice Transcribe 1.0 и стоит столько же. Первую версию выводят из обращения. Сильнее всего выросла точность на разных языках: на коротких фразах доля ошибочно распознанных слов (word error rate) упала с 20,6% до 6,8%. По данным SpaceXAI, в открытом рейтинге Artificial Analysis модель заняла первое место по точности среди 32 моделей потокового распознавания. Лаборатория также утверждает, что на телефонной связи низкого качества она обходит всех конкурентов, которых проверяли.

Модель рассчитана на запись и разбор звонков в службе поддержки, расшифровку видео и голосовых агентов — программ, которые ведут разговор с человеком. Она различает говорящих, ставит время к каждому слову и указывает, насколько уверена в распознавании. Модель понимает десятки языков, сама их определяет и справляется, когда собеседник переходит на другой язык посреди записи. Ещё она раздельно расшифровывает до восьми аудиоканалов, аккуратно записывает числа, даты, суммы, телефоны и адреса почты, убирает слова-паразиты и замечает, когда собеседник договорил. Заранее можно передать до ста терминов, которые важно распознать точно, например названия продуктов. SpaceXAI пишет, что модель уже обслуживает десятки тысяч звонков в поддержку в день и голосовых агентов в машинах Tesla, а видеосервис Loom компании Atlassian перевёл на неё расшифровку всех своих записей.

Это узкая модель: она только превращает речь в текст, отвечать на вопросы и вести диалог она не умеет. Для этого её соединяют с языковыми моделями линейки Grok.

Источники: Анонс Grok Voice Transcribe 2.0