ИИтак
Поиск

← Назад

модель · Qwen · вышла 19 сентября

Qwen3.8-LiveTranslate

Модель Alibaba для синхронного перевода живой речи и видео: озвучивает перевод голосом говорящего с отставанием около двух секунд

О модели

Qwen3.8-LiveTranslate — модель Alibaba для синхронного перевода. Она слушает живую речь, при желании смотрит видео и выдаёт перевод текстом и голосом, пока человек ещё говорит. Модель построена на основе линейки Qwen-Omni. Компания заявляет, что вместо привычной цепочки из трёх шагов (распознавание речи, перевод, синтез речи) здесь работает единая «чередующаяся» архитектура (Interleave): она обрабатывает звук, картинку и текст вместе. Картинка помогает понять, что говорят, когда одного звука мало.

Модель понимает 60 языков и озвучивает перевод на 29. По замерам Alibaba, среднее отставание от говорящего сократилось с 2,8 секунды у прошлой версии до 2,3 секунды. Для сравнения: живой синхронист обычно отстаёт на 2–3 секунды. Компания также говорит, что перевод стал точнее, глаже и короче.

У новой версии появилось три возможности. Она различает собеседников в разговоре нескольких людей и сохраняет голос каждого, то есть переводит голосом, похожим на исходный. Она показывает на одной ленте исходный текст и перевод. А ещё учитывает длинный контекст беседы: так легче выбрать верное значение многозначного слова и не путать термины и имена на протяжении встречи. Модель берут для перевода встреч, конференций, трансляций и видеозвонков.

Это узкая модель-переводчик, а не собеседник общего назначения. Работает она только через облако Alibaba по протоколу WebSocket, который держит постоянное соединение для потокового звука. Лимиты доступа на старте жёсткие: 10 запросов в минуту. Нескольким переговорным хватит, а колл-центру — нет.

источники:Страница модели на QwenCloud ↗

Новости о модели

все упоминания · 28

  1. Qwen3.8 на ноутбуке Уиллисона определила по числовым параметрам, во что играют нейросети

    Уиллисон показал, что определить по числовым параметрам нейросети, во что она играет, может не только GPT-6 Astra, но и открытая модель на 17 ГБ — правда, на каждый ответ уходит около часа.

  2. Движок TokenSpeed ускорил Qwen3.8-Flash-Next до 685 токенов в секунду

    Открытый движок TokenSpeed выдаёт ответ модели Alibaba со скоростью 685 токенов в секунду, если на четырёх ускорителях NVIDIA GB300 работает один пользователь.

  3. Рассуждая по шагам, Qwen3.8 27B почти без ошибок сложила большие числа и записала ответ словами

    В опыте Саймона Уиллисона Qwen3.8 27B без рассуждений правильно посчитала и записала прописью около четверти сумм чисел до 13 цифр, а с рассуждениями — 167 из 169.

  4. Alibaba выпустила модель синхронного перевода речи Qwen3.8-LiveTranslate

    Модель Alibaba переводит живую речь с 60 языков, различает собеседников и озвучивает перевод их голосами. Отстаёт от говорящего она в среднем на 2,3 секунды.

  5. Alibaba выпустила Qwen3.8-Omni-Flash — модель, которая смотрит видео, слушает звук и работает с инструментами

    Qwen3.8-Omni-Flash принимает текст, картинки, звук и видео, держит контекст до 1 млн токенов и умеет вызывать инструменты. По данным Alibaba, обработка видео стоит примерно на 89% меньше, чем у Qwen3.5-Omni-Plus.

Данные: models.dev (MIT).