Voxtral Mini Transcribe 3

Voxtral Mini Transcribe 3 — модель Mistral для пакетной расшифровки речи. Ей отдают готовую аудиозапись, а она возвращает весь текст сразу. Из двух таких моделей линейки Voxtral 3 это младшая: в ней 4 млрд параметров, а более крупная — Voxtral Small Transcribe 3. Живой звук расшифровывает отдельная модель, Voxtral Mini Transcribe Realtime 3. Все они вышли одновременно с синтезатором речи Voxtral Speech 3 и набором инструментов для голосовых агентов.

Модель отмечает, кто из собеседников говорит (это называется диаризацией), и ставит отметки времени у фрагментов текста. Язык записи она определяет сама, но его можно задать и вручную. Ещё у неё есть подсказка словаря: модели передают список терминов или просто текст по теме, и она точнее распознаёт названия и специальные слова. Дообучать её для этого не нужно. Mistral расширила список языков до 50. Среди них все 24 официальных языка ЕС и многие языки Азии и Индии, по которым мало данных для обучения. У второй версии в документации было 13 языков.

По замерам Mistral, на тесте FLEURS по 45 языкам модель ошибается в 4,1% слов, если язык задан заранее. У Small Transcribe 3 ошибок 4,0%, но она немного дороже. Документация советует начинать с Mini. На Small стоит переходить, только если ошибки остаются и подсказка словаря их не убирает.

Отметки времени модель ставит только у фрагментов, у отдельных слов их нет. Запись и словарь занимают одно общее контекстное окно, поэтому длинный список терминов оставляет меньше места для звука. Модель только переводит речь в текст. Чтобы пересказать или перевести запись, документация предлагает чат-модели, которые принимают звук. Открытых весов у модели нет: она доступна через API Mistral, в том числе с размещением в ЕС, а на свою инфраструктуру её разворачивают по договорённости с компанией.

источники:Анонс Voxtral 3 ↗Документация: распознавание речи ↗Документация: аудио в API Mistral ↗