Qwen3.5 397B-A17B

Qwen3.5-397B-A17B — первая модель линейки Qwen3.5 с открытыми весами и самая крупная в ней. Она устроена как смесь экспертов: всего в ней 397 млрд параметров, но на каждый токен работают около 17 млрд. Из 512 экспертов, то есть специализированных подсетей, для каждого токена выбираются десять, и к ним добавляется одна общая. Слои обычного внимания в ней чередуются со слоями линейного (Gated DeltaNet), которое обходится дешевле на длинных текстах. Картинки и видео модель понимает сама, без отдельного визуального модуля: текст и изображения смешивали с самого начала обучения.

По замерам Qwen, по качеству она не уступает Qwen3-Max, в которой больше триллиона параметров. При этом текст она выдаёт в 8,6 раза быстрее на контексте в 32 тысячи токенов и в 19 раз быстрее на 256 тысячах. Лаборатория заявляет, что модель обходит визуальные модели Qwen3-VL сопоставимого размера, а число поддерживаемых языков и диалектов выросло со 119 до 201. В облаке Alibaba та же модель доступна под названием Qwen3.5-Plus: там контекст по умолчанию растянут до миллиона токенов и сразу подключены встроенные инструменты.

Модель берут для агентных задач, где она сама действует по шагам: ищет информацию, вызывает внешние инструменты, ведёт долгую техническую работу. Эти навыки Qwen отрабатывала обучением с подкреплением, когда модель пробует решить задачу и получает оценку за результат, причём в большом числе смоделированных сред. Среди результатов из карточки модели — 78,6 балла в BrowseComp (поиск трудно находимых фактов в интернете), 72,9 в BFCL-V4 (вызов функций) и 87,8 в MMLU-Pro (знания по многим предметам). Со зрением у неё 93,1 балла в OCRBench (чтение текста на картинках) и 87,5 в VideoMME (понимание видео).

По умолчанию модель рассуждает перед ответом. Отключить это можно только параметром API: в отличие от Qwen3, команды в тексте запроса здесь не работают. На сложных задачах рассуждения растягиваются на десятки тысяч токенов. Контекст можно увеличить примерно до миллиона токенов техникой YaRN, но лаборатория предупреждает, что на коротких текстах качество от этого может просесть. Веса выложены по лицензии Apache 2.0, она разрешает коммерческое использование. Для работы с полным контекстом Qwen рекомендует сервер с восемью видеокартами, поэтому у себя модель запускают компании, а остальные берут её через облачные сервисы. С тех пор у Qwen вышли линейки Qwen3.6, Qwen3.7 и Qwen3.8.

источники:Анонс Qwen3.5 в блоге Alibaba Cloud ↗Карточка модели на Hugging Face ↗