NVIDIA выложила сжатую модель Nemotron 3.5 Bolt для ИИ-агентов на ноутбуке

NVIDIA выложила на Hugging Face открытую модель Nemotron 3.5 Bolt 74B-A9B. Она понимает текст, картинки и видео, а её сжатая версия на 24 ГБ рассчитана на ИИ-агентов, которые работают на компьютере без облака.

Почему это важно: NVIDIA с самого начала подгоняла Bolt под ноутбук. Вместе с контекстом на 128 тыс. токенов сжатая версия должна занимать меньше 24 ГБ, чтобы агент работал рядом с другими программами. Полную версию другие компании могут дообучить на своих данных и сжать под своё железо.

Предыстория: 13 октября NVIDIA объявила дату выхода Bolt и назвала её моделью для ноутбуков RTX Spark. Родительскую модель, Nemotron 3.5 Super VL на 120 млрд параметров, NVIDIA выпустила в один день с Bolt, 15 октября.

Как это работает: Bolt — сжатая Super VL. Это гибрид Mamba-2¹ и трансформера со смесью экспертов: из 74 млрд параметров при обработке каждого токена работают 9 млрд. Сжимали в несколько шагов:

• Алгоритм NVIDIA Star Elastic подбирал, сколько экспертов оставить в каждом слое и какого они будут размера. А число экспертов, которые включаются на каждый токен, просто задали: 9 вместо 22 у родительской модели.
• Сжатую модель учили повторять ответы родительской. На это ушло 120 млрд токенов, а Super VL учили больше чем на 20 трлн.
• Блок обработки изображений не сжимали: его взяли у Super VL и подключили заново, а связующие слои дообучили примерно на 6,6 млн картинок.
• Под конец модель дообучали на задачах агентов, в том числе с подкреплением: работать с инструментами по протоколу MCP и писать код.

Детали: контекст — до 256 тыс. токенов, видео — до двух минут. Основные языки — английский и языки программирования. Все версии выложены под лицензией OpenMDW-1.1², которая разрешает и коммерческое использование:

• Полная, в 16-битной точности, нужна для дообучения, исследований и сжатия под своё железо. Её запускают через vLLM³ на серверных видеокартах NVIDIA A100, H100 и Blackwell.
• Сжатая до 2 бит версия на 24 ГБ — для повседневной работы агентов. Её запускают через llama.cpp⁴ или vLLM.
• LiLiCorr — маленькая модель-черновик. Она заранее предлагает следующие токены, Bolt их проверяет, и ответ приходит быстрее.

В цифрах: по замерам NVIDIA, сжатая версия обходит Qwen3.6-35B-A3B в 10 тестах из 13. Например:

• В Terminal-Bench 2.1, где агент решает задачи в командной строке, — 50,98 балла против 44,38 у Qwen.
• В BrowseComp, где нужно найти в интернете трудные для поиска факты, — 66,75 против 48,74.
• В GPQA Diamond с научными вопросами уровня аспирантуры — 86,43 против 83,40.

Интрига: в тесте MCP-Atlas на работу с инструментами сжатая Bolt набрала 52,2 балла, а Qwen3.6-35B-A3B — 51,2 по замеру NVIDIA на открытой части теста. Сами разработчики Qwen заявляли для своей модели 62,8.

Но: у результатов есть оговорки:

• В тесте AA-Omniscience проверяют, не выдумывает ли модель ответ, когда его не знает. Здесь Bolt на 24 ГБ набрала 61,27 балла против 65,85 у Qwen.
• Часть синтетических данных для дообучения сгенерировала модель Kimi-K3, прицельно под GPQA Diamond, Terminal-Bench 2.1, SciCode и AA-LCR. Значит, Bolt заранее готовили к тем самым тестам, на которых NVIDIA потом сравнивает её с соперниками.

Если шире: в тот же день Meta* выложила открытую Muse Spark Open для кода и ИИ-агентов. Но в ней 816 млрд параметров, и запускать её приходится на мощном железе: например, на двух компьютерах Mac Studio или на четырёх серверных видеокартах Intel.

Так уже было: в августе NVIDIA так же сжала Nemotron 3.5 Lightning до 22 ГБ. Сжатую модель дообучили повторять ответы исходной, и точность почти не упала.

Что дальше: 23 октября NVIDIA обещает выпустить Nemotron 3.5 Bolt E4B на 4 ГБ — небольшую модель для разговорных персонажей в играх.