Alibaba выпустила модель синхронного перевода речи Qwen3.8-LiveTranslate
Модель Alibaba переводит живую речь с 60 языков, различает собеседников и озвучивает перевод их голосами. Отстаёт от говорящего она в среднем на 2,3 секунды.
19 сентября Alibaba выпустила Qwen3.8-LiveTranslate — модель, которая переводит речь на другой язык, пока человек ещё говорит, и отстаёт от него в среднем на 2,3 секунды вместо 2,8 у прошлого поколения. Команда Qwen объявила о выпуске в соцсети X и назвала модель синхронным переводчиком следующего поколения.
Почему это важно: модель переводит на ходу разговор нескольких людей и озвучивает перевод их собственными голосами, а не одним синтетическим.
Детали: у модели три новые возможности:
- Она различает, кто говорит, когда звучат несколько голосов, а клонировать голос каждого, по словам Qwen, стала надёжнее.
- Исходная речь и перевод выводятся на экран одновременно и идут синхронно друг с другом.
- Модель опирается на историю разговора, чтобы понять, о ком и о чём речь, и переводить имена и термины одинаково.
Как это работает: в основе новая архитектура Interleave и инфраструктура Qwen-Omni1. Архитектура уравновешивает две цели: дождаться контекста, чтобы понять фразу, и при этом не отстать от говорящего. По словам Qwen, перевод стал точнее, естественнее и короче. Модель принимает не только звук, но и видео.
В цифрах: языки и цены версии для живого перевода:
- Модель понимает речь на 60 языках, а озвучивать перевод умеет на 29; на остальные она переводит только текстом.
- Звук на входе стоит 7,5 доллара за 1 млн токенов, текстовый перевод — 20 долларов, озвученный — 30 долларов.
- В один запрос помещается до 53 тыс. токенов, лимит — 10 запросов в минуту.
Но: модель доступна только через API, в том числе в облаке Qwen Cloud2, открытых весов у неё нет. Для сравнения: в августе Alibaba выложила веса Qwen3.8-Max, а через две недели — Qwen3.8-Flash-Next.
Подробнее: накануне, 18 сентября, Alibaba представила Qwen3.8-Omni-Flash — модель, которая принимает текст, картинки, звук и видео.