SpaceXAI выпустила модель распознавания речи Grok Voice Transcribe 2.0

18 сентября SpaceXAI выпустила Grok Voice Transcribe 2.0 — модель, которая переводит речь в текст. По замерам компании, она вдвое точнее первой версии, а стоит столько же.

Почему это важно: разработчики, которые уже расшифровывают речь через API SpaceXAI, получат более точный текст без правок в коде. Компания делала модель под трудный звук: плохую связь, голоса, перебивающие друг друга, акценты, продиктованные вслух номера и адреса почты.

Расклад: новая модель построена на той же базовой аудиомодели, что и Grok Voice — голосовые технологии SpaceXAI. По данным компании, Grok Voice каждый день обслуживает десятки тысяч звонков в службы поддержки, расшифровывает миллионы часов озвучки видео и работает в помощнике Grok в машинах Tesla. Обучали модель на живых шумных записях на разных языках, сделанных в самой разной обстановке.

В цифрах:

• В открытом рейтинге Artificial Analysis¹ модель заняла первое место по точности среди 32 потоковых моделей, то есть тех, что расшифровывают речь на лету.
• Сильнее всего модель выросла в языках: на коротких голосовых командах на 19 языках доля ошибочно распознанных слов упала с 20,6% до 6,8%.
• Расшифровка готовых записей стоит 10 центов за час аудио, потоковая — 20 центов, как и у первой версии.
• Разметка по собеседникам, метки времени и список специальных терминов входят в эту цену без доплаты.

Детали: у модели есть настройки под разные задачи.

• Она распознаёт десятки языков, сама определяет язык и не сбивается, если человек переходит на другой посреди записи.
• Модель подписывает, кто из собеседников говорит, и ставит у каждого слова время начала и конца и оценку уверенности.
• В запрос можно передать до 100 специальных терминов, например названия продуктов или медицинскую лексику, чтобы модель их узнавала.
• Числа, даты, телефоны и адреса почты модель пишет цифрами и символами, умеет убирать «э-э» и «м-м» и замечает, когда собеседник договорил.

Но: кроме рейтинга Artificial Analysis, все сравнения — собственные замеры SpaceXAI на четырёх наборах записей из её же трафика: звонки в поддержку, разговоры с Grok, продиктованные коды и адреса, короткие команды. На всех четырёх новая версия обошла первую, а на телефонных звонках, по словам компании, — все модели, которые она проверяла.

Что дальше: скоро новая модель станет основной в API SpaceXAI для расшифровки речи, а первую версию отключат в ближайшие недели. Кто хочет пока остаться на ней, должен явно указать её в запросах.

Подробнее: днём раньше, 17 сентября, Илон Маск сообщил, что агенты Grok Bot² научились разговаривать голосом.