Mistral выпустила модель, которая расшифровывает арабские диалекты на лету

8 октября Mistral выложила на Hugging Face Voxtral Mini 4B Realtime Arabic — открытую модель, которая превращает арабскую речь в текст по ходу разговора. Она справляется и с диалектами, и с фразами вперемешку с другими языками.

Почему это важно: у разработчиков живых субтитров и голосовых интерфейсов для арабоязычных пользователей появилась открытая модель, которая распознаёт диалекты прямо по ходу речи. Лицензия Apache 2.0¹ разрешает любому встраивать её в свои продукты, в том числе платные.

Детали:

• Это дообученная версия Voxtral Mini 4B Realtime, которую Mistral выпустила в феврале. В новой версии около 4,4 млрд параметров.
• Она понимает современный литературный арабский и диалекты. Текст появляется, пока человек ещё говорит, а задержку можно настроить, например под живые субтитры или голосовые интерфейсы.
• Модель рассчитана только на арабский, для других языков Mistral советует исходную Voxtral Mini 4B Realtime.
• Модель работает в инструментах vLLM и Transformers, а демо, собранное сообществом разработчиков, открывается прямо в браузере.

В цифрах: Mistral проверяла модель с задержкой расшифровки 480 мс.

• На семи арабских бенчмарках она в среднем ошиблась в 8,82% символов, по замерам компании.
• По данным Mistral, это лучше, чем у нескольких открытых и закрытых моделей, которые расшифровывают готовую запись, а не речь на лету.
• Другая модель компании, Voxtral Transcribe Arabic, ошибается реже: в 7,91% символов, разница меньше процентного пункта.

Но: у замеров есть оговорки:

• Два бенчмарка из семи, ISMA и Darija in the Wild, — новые. Их сделали вместе с Министерством цифрового перехода и административной реформы Марокко — тем же, с которым Mistral разрабатывала саму модель.
• Ошибки считали после нормализации текста, которую тоже разработали с министерством: она учитывает диалектное написание, заимствования и числа, произнесённые словами. Авторы предупреждают, что при другой нормализации результаты могут отличаться.
• Среди моделей для сравнения была и Gemini от Google, но часть записей из набора FLEURS² она не расшифровала: их заблокировали её защитные фильтры, отмечают авторы.

Интрига: обучение сосредоточили на переключении кодов³ в арабской речи, но авторы заметили, что модель стала лучше справляться и с переходами на языки, которые не были в центре обучения.

Mistral и Марокко подписали соглашение о стратегическом партнёрстве 12 января 2026 года и договорились создать совместную лабораторию. Новую модель сделали в рамках этого партнёрства.