Омнимодальный
Так называют модели, которые в одной системе принимают и совместно обрабатывают текст, изображения, звук и видео, а некоторые ещё и отвечают речью (omni-modal). Этим они отличаются от более распространённых мультимодальных моделей, которые обычно ограничиваются текстом и картинками. Омнимодальная модель может, например, связать сказанное в ролике с тем, что видно в кадре.
проверено по: github.com ↗
См. также
- Qwen-OmniЛинейка омнимодальных моделей команды Qwen из Alibaba: они понимают текст, изображения, звук и видео. Одни версии отвечают только текстом, другие ещё и синтезируют речь, в том числе в реальном времени. Этим они отличаются от обычных текстовых и визуально-языковых моделей Qwen.
- Полнодуплексный голосовой режимРежим голосового общения (full duplex), при котором система слушает и говорит одновременно, поэтому собеседник может перебить её или вставить реплику в любой момент. Противопоставляется полудуплексному режиму, где стороны говорят строго по очереди и ассистент начинает отвечать только после конца фразы пользователя.
- Фундаментальная модельБольшая модель, заранее обученная на огромном и разнообразном наборе данных (обычно с самообучением), которую затем приспосабливают к множеству разных задач с помощью дообучения или подсказок, а не обучают отдельную модель под каждую задачу. Термин (foundation model) ввели исследователи Стэнфордского университета в 2021 году. Понятие шире, чем большая языковая модель: так называют и модели для изображений, речи, биологии и других областей.
В новостях
Alibaba выпустила Qwen3.8-Omni-Flash — модель, которая смотрит видео, слушает звук и работает с инструментами
Обычные мультимодальные модели чаще всего понимают текст и картинки. Омнимодальная принимает ещё звук и видео и разбирает их вместе, например связывает услышанное в ролике с тем, что видно в кадре.