Voxtral Mini 4B Realtime Arabic

Voxtral Mini 4B Realtime Arabic — потоковая модель распознавания речи для арабского языка. Она пишет текст, пока человек говорит, и не ждёт конца записи. В ней около 4,4 млрд параметров. Звук разбирает кодировщик примерно на 970 млн параметров: он учитывает только то, что уже прозвучало, поэтому может работать в реальном времени. Текст пишет языковая часть примерно на 3,4 млрд параметров, построенная на Ministral 3 3B. Mistral сделала модель вместе с министерством цифрового перехода и административной реформы Марокко (MTNRA).

Это дообученная версия Voxtral Mini 4B Realtime. Базовая модель понимает 13 языков, в том числе арабский, а новая работает только с арабским, но знает 16 его разновидностей. Это литературный арабский и 15 диалектов: марокканский, алжирский, тунисский, ливийский, хассания, египетский, суданский, чадский, диалекты Персидского залива, неджди, оманский, санаанский, месопотамский, северный и южный левантийский. Модель также справляется со смешением языков, когда человек посреди фразы переходит, например, на французский или английский. Mistral описывает эту способность как пока только формирующуюся.

По замерам Mistral, при задержке 480 мс модель в среднем ошибается в 8,82% символов на семи арабских тестах, среди которых ISMA и Darija in the Wild. Второй тест собран вместе с марокканским министерством. Закрытая Voxtral Transcribe Arabic на тех же тестах показывает 7,91%, то есть открытая модель уступает ей меньше одного процентного пункта. Задержку можно настраивать. Для базовой модели лаборатория называет 480 мс лучшим балансом между скоростью и точностью. Mistral предлагает использовать модель для живых субтитров и голосовых интерфейсов.

Модель рассчитана только на арабский: для других языков Mistral советует исходную Voxtral Mini 4B Realtime. Веса выложены под лицензией Apache 2.0, поэтому модель можно разворачивать без лаборатории, дообучать и встраивать в свои продукты, в том числе коммерческие. Запускают её через vLLM или Transformers. Судя по документации базовой модели того же размера, для работы хватает одной видеокарты с 16 ГБ памяти.

источники:Карточка модели на Hugging Face ↗Карточка базовой Voxtral Mini 4B Realtime ↗