Nemotron 3.5 Lightning 30B A3B

Что это за модель

Nemotron 3.5 Lightning — открытая модель NVIDIA на 30 млрд параметров, построенная как смесь экспертов (mixture of experts): на каждый токен работает только около 3 млрд параметров. Поэтому знаний у неё как у модели на 30 млрд параметров, а вычислений она требует как малая. Устроена она гибридно: слои Mamba-2 чередуются со слоями экспертов, а слоёв внимания, как в обычных трансформерах, лишь несколько. По данным карточки модели, её предобучили на более чем 20 трлн токенов, затем дообучили на примерах и обучением с подкреплением на задачах по математике, программированию и работе с инструментами.

Это первая модель линейки Nemotron 3.5 и самая маленькая в семействе рядом с Nemotron 3 Super и Nemotron 3 Ultra. Её главное отличие — упор на скорость. Уже при обучении модель научили предсказывать сразу несколько токенов, а к ней выпустили отдельные черновые модели DFlash и DSpark для спекулятивного декодирования: малая модель быстро набрасывает текст, а основная его проверяет. По замерам NVIDIA, модель выдаёт текст до 4 раз быстрее моделей схожего размера, а на бенчмарке PinchBench набирает 86% и проходит 10 000 задач на 30% быстрее Qwen3.6 35B при сходной точности.

NVIDIA позиционирует её как исполнителя внутри долгих агентных систем. Планирует и рассуждает крупная модель, а Lightning берёт на себя массовую рутину: вызывает инструменты, проверяет результаты, раздаёт поручения вспомогательным агентам. Режим рассуждений перед ответом можно включать и выключать. В карточке модели приведены баллы 81,94 на MMLU Pro, 75,44 на GPQA Diamond и 51,56 на SWE-bench Verified. Модель удобно дообучать под свою задачу: NVIDIA открыла не только веса, но и данные для обучения и рецепты.

Лучше всего модель знает английский и языки программирования, кроме них заявлены испанский, французский, немецкий, итальянский и японский. Русского в этом списке нет. Полную версию весов NVIDIA советует брать для дообучения, а для работы — сжатый вариант в формате NVFP4. На одной видеокарте H100 контекст упирается в память примерно на 256 тыс. токенов, для большего нужны несколько видеокарт или новое железо. Лицензия OpenMDW-1.1 разрешает коммерческое использование.

Источники: Анонс в техническом блоге NVIDIA, Карточка модели на Hugging Face