Qwen3.8-Flash-Next
Мультимодальная модель команды Qwen из Alibaba с открытыми весами, построенная по схеме смеси экспертов. Команда представляет её как ранний вариант архитектуры будущего поколения Qwen4. Главные нововведения — гибридное внимание, в котором линейное внимание сочетается с разреженным, и дополнительная таблица эмбеддингов для сочетаний токенов. Всё это нацелено на то, чтобы удешевить обучение и работу модели без потери качества.
проверено по: huggingface.co ↗
См. также
- Смесь экспертовАрхитектура нейросети, в которой часть слоёв разбита на много подсетей-«экспертов» (mixture of experts, MoE). Специальный маршрутизатор для каждого токена включает лишь несколько из них. Так у модели может быть очень много параметров, а вычислений на токен будет меньше, чем у «плотной» модели того же размера. Минус в том, что все эксперты всё равно приходится держать в памяти.
- Линейное вниманиеВариант механизма внимания в трансформерах (linear attention), который не хранит сведения о каждом прошлом токене, а сжимает их в состояние фиксированного размера, как рекуррентная сеть. Поэтому затраты растут линейно, а не квадратично с длиной контекста, но мелкие детали запоминаются хуже. В современных моделях такие слои часто чередуют с обычным полным вниманием.
- Разреженное вниманиеРазреженное внимание (sparse attention) — разновидность механизма внимания, при которой каждый токен учитывает не все токены контекста, а только их часть: соседей в окне, токены по заданному шаблону или фрагменты, отобранные как самые значимые. Так снижается квадратичная стоимость вычислений, и модели легче работать с длинными последовательностями. Линейное внимание заменяет саму формулу внимания приближением, а разреженное сохраняет обычное внимание, но пропускает часть пар токенов.
- Qwen-OmniЛинейка омнимодальных моделей команды Qwen из Alibaba: они понимают текст, изображения, звук и видео. Одни версии отвечают только текстом, другие ещё и синтезируют речь, в том числе в реальном времени. Этим они отличаются от обычных текстовых и визуально-языковых моделей Qwen.
В новостях
Alibaba выпустила Qwen3.8-Omni-Flash — модель, которая смотрит видео, слушает звук и работает с инструментами
Архитектура, на которой построена новая модель. Alibaba подавала её как предварительный вариант будущей архитектуры Qwen4.