NVIDIA выпустила открытую модель для расшифровки речи на 40 языках

NVIDIA выпустила Nemotron 3.5 Transcribe — открытую модель, которая расшифровывает записи речи на 40 языках, подписывает, кто что сказал, переводит и отвечает на вопросы о записи.

Почему это важно: все эти задачи решает одна модель, а что нужно на выходе, ей говорят обычными словами. В диаризации, то есть в определении, кто когда говорил, она обошла даже специальную модель NVIDIA для этой задачи, вышедшую в сентябре.

Детали: что умеет модель, по описанию NVIDIA:

• Расшифровывает речь на 40 языках, переводит 31 из них на английский и с английского, а говорящих различает в 13.
• Берёт записи длиной до часа и подписывает до восьми говорящих, в том числе когда они перебивают друг друга.
• Задачу ставят запросом вроде «Расшифруй запись и подпиши каждого говорящего» или «Какие решения приняли на этой встрече?».
• В запрос можно вписать редкие слова, например обозначение гликированного гемоглобина HbA1c или лекарство метформин, и велеть брать их, только если их и правда слышно.

Как это работает: модель устроена как смесь экспертов¹: из 30 млрд параметров на каждый фрагмент текста включаются около 4 млрд. Кто говорит, определяет встроенный в неё блок Sortformer. Его подсказки поступают в языковую часть модели вместе со звуком, поэтому реплики она подписывает прямо по ходу расшифровки, а не отдельным шагом после.

В цифрах: места в рейтингах, которые приводит NVIDIA:

• В рейтинге распознавания речи Open ASR Leaderboard на Hugging Face она первая среди открытых моделей по английскому языку и ошибается в среднем в 5,33% слов.
• В рейтинге David AI по 21 языку у неё самая низкая доля ошибок диаризации из 14 систем — 18,26%; у Nemotron 3 Diarization 18,38%.
• В сравнении 14 систем VoiceArena на английских записях разговоров она первая и реже всех теряет слова: 8,32% против примерно 31% в середине рейтинга.
• На одной серверной видеокарте RTX PRO 6000 Blackwell она расшифровывает 100 часов записей меньше чем за три минуты, если резать их на 30-секундные куски и подавать параллельно.

Интрига: после дообучения Nemotron 3.5 Transcribe в целом ошибается на записях врачей реже, чем открытая модель, которую учили специально для медицины. NVIDIA проверила свои рецепты дообучения на записях индийских врачей и студентов-медиков:

• Одно уточнение в запросе — речь английская, писать латиницей — сократило долю ошибочных слов с 30,8% до 23,8%.
• При проверке на голосах, которых не было при настройке, после дообучения ошибок стало 12,17% вместо 22,44%.
• У открытой модели, обученной специально на медицинской речи, на тех же голосах — 13,79%.
• Всё дообучение заняло около 14 часов работы одного ускорителя NVIDIA GB300.

Но: у модели есть ограничения:

• Она рассчитана на готовые записи, а не на живую речь.
• Отвечать на вопросы о записи её учили только на английском, а у каждой задачи свой набор языков.
• После медицинского дообучения обычную английскую речь она распознаёт чуть хуже: в тесте LibriSpeech² ошибок стало 1,69% вместо 1,54%.
• Имена, смену говорящих и ответы NVIDIA советует сверять с записью.

Расклад: модели для расшифровки речи в октябре выпускали и другие компании:

• В начале октября Microsoft показала модель MAI-Transcribe-2-Streaming: она расшифровывает речь на лету и, по данным компании, первая по точности среди таких моделей в рейтинге Artificial Analysis.
• IBM 15 октября выпустила открытые модели Granite Switch 4.1: каждая ведёт чат, выбирает ответ из вариантов и расшифровывает речь.
• Mistral 20 октября выпустила модели Voxtral 3, которые распознают речь на 50 с лишним языках.

Модель выложена на Hugging Face и ModelScope³. По словам NVIDIA, ей хватает одной видеокарты компании — от компактного компьютера DGX Spark до серверных систем Blackwell. Готовый доступ к модели предлагают облачные сервисы Baseten, DeepInfra и Simplismart.

Вместе с моделью NVIDIA выложила разметку речевого набора Granary v2 — 463 062 часа записей на 48 языках — и рецепты дообучения.