ИИтак
Поиск

← Назад

модель · Mistral · вышла 20 октября

Voxtral Speech 3

Предварительная версия модели Mistral для озвучки текста: эмоции по запросу, клонирование голоса и потоковый звук для голосовых агентов

О модели

Voxtral Speech 3 (в документации Mistral — Voxtral Mini TTS 3) озвучивает текст. Она входит в линейку Voxtral 3 вместе с тремя моделями расшифровки речи и новым набором инструментов для голосовых агентов. Работать с ней можно в двух режимах через один и тот же API. В пакетном режиме текст озвучивается целиком. В режиме реального времени звук идёт потоком, то есть начинает звучать раньше, чем озвучен весь текст. По документации, первый звук появляется примерно через 90 миллисекунд.

Главное, что в ней появилось, — управление подачей. Модели можно прямо указать эмоцию, темп и слова, на которые падает ударение: в документации описаны 34 метки эмоций и две метки темпа. Без меток она, по словам Mistral, сама подбирает интонацию по смыслу текста. Модель умеет клонировать голос, то есть говорить чужим голосом по образцу записи. Для этого хватает короткого образца, а в режиме Pro Voice она передаёт характерную манеру конкретного диктора, но ей нужно около 30 минут записей. В анонсе Mistral пишет о 35 с лишним языках и 50 с лишним диалектах. Готовые голоса есть на 18 языках, среди них русский. Мартовская Voxtral TTS работала с девятью языками.

Прежде всего её делали как голос для агентов, то есть программ, которые сами выполняют задачи. Вместе с моделями расшифровки и новым набором для разработчиков она даёт собрать собеседника для телефона или браузера. Такой собеседник слушает, обдумывает ответ, обращается к нужным системам компании и отвечает голосом. По замерам Mistral, у неё лучший результат по выразительности английской речи, а по точности произношения заданных слов в пересчёте на цену она обходит соперников. Для сравнения взяли Eleven v4, Gemini 3.8 Flash TTS, OpenAI gpt-4o-mini-tts, Cartesia Sonic 3.6, Inworld TTS-2 и другие модели. Ещё компания заявляет, что её запуск обходится дешевле, чем у сопоставимых моделей OpenAI, Deepgram, ElevenLabs и Google.

Модель вышла как публичная предварительная версия. Веса мартовской Voxtral TTS Mistral выложила под некоммерческой лицензией CC BY-NC 4.0. Новая модель в документации записана в Premier, платные закрытые модели компании, и её берут через API Mistral. На странице модели в документации пока указано девять языков, а не 35 из анонса, поэтому нужный язык стоит проверить заранее.

источники:Анонс Voxtral 3 ↗Карточка модели в документации Mistral ↗Список моделей Mistral ↗

Новости о модели

все упоминания · 19

  1. Mistral выпустила речевые модели Voxtral 3 и набор для голосовых агентов

    Модели Mistral распознают речь на 50 с лишним языках и озвучивают текст с эмоциями, а новый набор инструментов собирает из них голосового агента.

  2. Модели озвучки Gemini 3.8 создают голоса по описанию и копируют по записи

    Модель Google Gemini 3.8 Flash TTS создаёт голос по описанию на 100 с лишним языках, а копирует чужой голос только с записанного согласия владельца.

Данные: models.dev (MIT).