NVIDIA выпустила открытую модель, которая определяет, кто и когда говорил

NVIDIA выпустила Nemotron 3 Diarization — открытую модель на 100 млн параметров. По звуку разговора она определяет, кто и когда говорил, и различает до восьми голосов.

Почему это важно: в расшифровке встречи, звонка или подкаста без подписей не видно, кто что пообещал и кто возразил. Модель расставляет такие метки и в готовой записи, и в разговоре, который идёт прямо сейчас.

Как это работает: модель не распознаёт слова, а только отмечает, когда звучит каждый голос (такую задачу называют диаризацией).

• Голоса нумеруются по порядку появления, поэтому в потоковом режиме человек не получает новый номер в каждом следующем фрагменте звука.
• Метки анонимные: модель сообщит, что «говорящий 2» говорил с такой-то по такую-то секунду, но не скажет, кто это.
• Если двое говорят одновременно, модель отмечает оба голоса в один и тот же момент.
• Чтобы получить расшифровку с подписями, её разметку совмещают по времени с моделью распознавания речи, например NVIDIA Parakeet.

Детали: перед ответом модель копит звук, и этот запас можно менять от 30,4 до 0,32 секунды. Чем он короче, тем быстрее ответ, но ниже точность. Время на вычисления, сеть и распознавание речи добавляется сверху.

В цифрах:

• В рейтинге Diarization-Bench сайта Voice Arena¹ модель заняла первое место среди 12 систем, которые проверяли на 139 англоязычных разговорах общей длиной около 22 часов.
• Доля ошибок разметки (DER) складывает пропущенную речь, ложные срабатывания и перепутанные голоса: у модели она 14,72%, у второй системы — 19,3%.
• На тестах самой NVIDIA при запасе звука около секунды доля ошибок в среднем по восьми наборам данных на 41% ниже, чем у прежней модели компании Streaming Sortformer, различавшей четыре голоса.
• На видеокарте RTX PRO 5000 при пакетной обработке модель разбирает звук в 15 113 раз быстрее реального времени, а предшественница — в 2 619 раз.

Расклад: Argmax² встроила модель в свой набор инструментов для приложений, которые распознают речь прямо на телефоне или компьютере. Развернуть её на своих серверах в облаке предлагают Baseten и DigitalOcean.

Что говорят: «Мы сравнили шесть систем разметки говорящих на 11 наборах данных, отражающих разнообразные и сложные реальные условия. Nemotron 3 Diarization показала наименьшую долю ошибок среди всех шести», — Атила Орхон, глава Argmax.

Но: у модели есть известные ограничения.

• Больше восьми голосов модель не различает: лишние могут пропасть или попасть в канал другого человека.
• Шум, эхо, запись издалека и очень длинные разговоры повышают долю ошибок, предупреждает сама NVIDIA.
• На разговорах двоих из набора CALLHOME новая модель ошибается чуть чаще прежней: 5,98% против 5,68%.
• Результаты Voice Arena предварительные и могут измениться, когда сайт завершит полную проверку.

Модель распространяется по лицензии OpenMDW³ 1.1. Она рассчитана на Linux и видеокарты NVIDIA поколений Ampere, Hopper и Blackwell.