Модель Google на Gemma 4 исправляет, кто что сказал в расшифровке

Google выложила на Hugging Face открытую модель DiarizationLM-Gemma-4-E4B-v1: она получает расшифровку разговора с пометками, кто говорит, и исправляет слова, приписанные не тому собеседнику.

Почему это важно: новая модель, по замерам авторов, правит пометки говорящих не только в звонках, но и в расшифровках совещаний, где участвуют до девяти человек. Прошлую модель серии учили только на телефонных разговорах двух человек.

Предыстория: сам подход DiarizationLM исследователи Google описали в статье в январе 2024 года. Позже компания выложила модель DiarizationLM-8b-Fisher-v2 на основе Llama 3 8B от Meta*.

Как это работает: модель получает текстом результат распознавания речи и диаризации — разметки, кто когда говорит. Она исправляет пометки говорящих: в образце из карточки «today?» из вопроса первого собеседника «Hello, how are you doing today?» ошибочно помечено как начало ответа второго. Слова модель тоже может поменять, поэтому отдельный алгоритм переносит из её ответа на исходную расшифровку только пометки говорящих.

Как её учили: по словам авторов, если просто дообучить модель на смеси звонков и совещаний, на встречах от четырёх человек она начинает путать, кто произносит длинный монолог. Поэтому её учили править только куски от одного до пяти слов — границы реплик и короткие поддакивания, а фразы от шести слов оставлять тому, кому их по голосу отдала исходная система.

В цифрах: доля слов, приписанных не тому собеседнику, по замерам авторов:

• Телефонные разговоры двух человек (набор Fisher): 2,99% против 5,32% у исходной системы распознавания и разметки. У прошлой модели на Llama 3 было 3,28%.
• Звонки, где говорят от двух до пяти человек (набор Callhome): 4,92% против 7,74%. Прошлая модель ошибалась в 6,66% слов.
• Совещания с участием от трёх до девяти человек (наборы ICSI и AMI): доля ошибок снизилась меньше чем на процентный пункт, примерно до 14–15%.
• По словам авторов, улучшение статистически значимо на всех четырёх наборах.

Детали:

• Основа — небольшая открытая модель Google Gemma 4 E4B. Буква E в её названии означает «эффективные» параметры: в вычислениях участвуют около 4,5 млрд, а всего их около 8 млрд — примерно как у прошлой версии на Llama 3 8B.
• Веса выложены под лицензией Apache 2.0¹, полная версия занимает около 16 ГБ.
• Сжатая до 4 бит версия весит около 5,3 ГБ и рассчитана на llama.cpp и Ollama — программы для запуска моделей на своём компьютере.

Но: в карточке оговорено, что официально Google эту модель не поддерживает. Тестовые записи совещаний немногочисленны — три встречи в ICSI и 16 в AMI, — поэтому погрешность оценок там велика.