Alibaba выпустила пять речевых моделей Qwen-Audio-3.1 и снизила цены

Alibaba выпустила Qwen-Audio-3.1 — пять моделей, которые распознают и синтезируют речь и поддерживают живой голосовой разговор, — и заметно снизила на них цены. Об этом команда Qwen объявила в соцсети X.

Почему это важно: такие модели расшифровывают встречи и звонки, озвучивают аудиокниги и игры, работают в голосовых помощниках. Скидки до 95% удешевляют эти сервисы для разработчиков.

Общая картина: команда Qwen называет линейку «полным аудиостеком»: модели понимают звук, создают его и разговаривают с человеком. Три модели обновлены, две добавлены впервые.

Расклад: кроме синтезатора речи TTS, в линейку входят:

• Обновлённая ASR лучше распознаёт разные языки и диалекты и сама убирает из расшифровки слова-паразиты и повторы.
• Новая ASR-Next различает нескольких собеседников, ставит метки времени, слышит эмоции, фоновые и машинные шумы и отвечает на вопросы о записи.
• Новая TTS-Next за один проход создаёт голос, звуковые эффекты и фоновый звук — для аудиокниг, подкастов, игр и рекламы.
• Realtime говорит и слушает одновременно, как собеседник в звонке: её можно перебить, а уловив подавленное настроение, она замедляется и отвечает с сочувствием.

В цифрах: по данным Alibaba, синтез речи подешевел примерно на 70%, живой разговор — примерно на 85%, а скидка на распознавание достигает 95%.

Детали: подробнее всего команда описала синтезатор Qwen-Audio-3.1-TTS — ему посвящён технический отчёт.

• Модель говорит на 16 языках, семь из них появились в этой версии, и воспроизводит диалекты 20 регионов Китая.
• За один проход она озвучивает текст длиной до трёх минут и умеет выдавать звук с частотой 48 кГц.
• Голос она копирует и по плохому образцу — шумному, гулкому или неразборчивому — без отдельного режима шумоподавления.

Интрига: манерой речи управляют обычными словами — роль, эмоция, темп, тембр, акцент. А 86 новых тегов прямо в тексте вставляют в нужное место смех, вдох, кашель или вздох.

Как это работает: модель кодирует речь всего 12,5 фрагментами в секунду, поэтому ей нужно меньше шагов и ответ приходит быстрее. Учили её в пять этапов: сначала отдельно языковую часть и часть, которая превращает фрагменты в звук, потом вместе, а затем шлифовали обучением с подкреплением¹ и тренировкой на плохих образцах.

Но: лучшие результаты на многих отраслевых тестах и первое место в независимом рейтинге Artificial Analysis² — утверждение авторов отчёта. Летом первое место на арене синтеза речи Artificial Analysis заняла прошлая версия, Qwen-Audio-3.0-TTS-Plus; строки для 3.1 в открытой таблице пока нет.

Что дальше: на платформе Qwen Cloud³ уже открыт доступ по API к разговорной модели и к распознаванию длинных записей — встреч и звонков. Остальные модели компания обещает подключить в ближайшее время.

Подробнее: 19 сентября Alibaba выпустила модель синхронного перевода Qwen3.8-LiveTranslate — она понимает речь на 60 языках и озвучивает перевод на 29.