NVIDIA объяснила, когда выбирать смесь экспертов, а когда плотную модель
На примере Nemotron 3.5 Lightning NVIDIA показала: смесь экспертов даёт скорость, но экономит только вычисления. Видеопамяти ей нужно столько же, сколько плотной модели того же размера.
NVIDIA сравнила два способа устроить языковую модель — плотную модель и смесь экспертов — и на примере своей Nemotron 3.5 Lightning показала, чем приходится платить за скорость, говорится в блоге компании для разработчиков. По данным NVIDIA, Lightning выдаёт текст в 4–5 раз быстрее Qwen3.8-27B и обходится в 14 раз дешевле. В тестах на общие способности она набирает меньше половины баллов Qwen3.8-27B.
В плотной модели каждый токен проходит через все параметры. В смеси экспертов (MoE) каждый слой содержит несколько отдельных блоков-«экспертов», а небольшая сеть-маршрутизатор отправляет токен лишь в некоторые из них. У Lightning из 30 млрд параметров на каждый токен работают 3 млрд. По словам авторов, эксперты специализируются не на темах, а в основном на синтаксисе и типах токенов — например, на знаках препинания или числах.
Главная уступка касается памяти. Смесь экспертов экономит вычисления, но все эксперты всё равно загружаются в видеопамять. Поэтому моделям обоих типов на 30 млрд параметров нужно около 60 ГБ. «Вопрос в том, что вы получаете за эти гигабайты: плотная модель превращает их в способности, MoE — в пропускную способность», — поясняют авторы. Под кэш контекста у смеси экспертов при этом остаётся меньше места, чем у плотной модели сопоставимого размера.
Сильнее всего преимущество заметно, когда модель обрабатывает один запрос. При большом числе одновременных запросов токены вместе задействуют почти всех экспертов, и выигрыш в задержке сокращается. По пропускной способности смесь экспертов остаётся впереди. У провайдеров на GPU NVIDIA диапазоны скорости Lightning и Gemma 4 31B не пересекаются, хотя в обеих около 30 млрд параметров. NVIDIA признаёт, что дело не только в архитектуре: вклад вносят слои Mamba-21 и спекулятивное декодирование2.
С дообучением и сжатием у смеси экспертов свои риски. Полное дообучение может нарушить баланс маршрутизатора: одни эксперты станут получать больше токенов, другие перестанут использоваться совсем. Чтобы этого избежать, компания советует дообучать через LoRA3 или заморозить маршрутизатор. При квантизации4 маршрутизатор тоже самое уязвимое место: даже небольшая погрешность меняет выбор экспертов, поэтому его оставляют в более высокой точности. Кроме того, надо проверить, в какой точности модель выпущена изначально. Mistral Small 4 распространяется в формате FP8, поэтому переход на 4 бита сжимает её примерно в 1,7 раза, со 121 до 71 ГБ, а не вчетверо.
По оценке NVIDIA, Lightning подходит на роль исполнителя в агентных системах, который в больших объёмах выполняет чётко поставленные шаги. Там, где исход зависит от одного трудного рассуждения, она не подходит.
Nemotron 3.5 Lightning вышла 11 августа как открытая модель для рутинной работы ИИ-агентов. 17 августа NVIDIA выпустила её 4-битную версию весом 22 ГБ вместо 66 ГБ.