NVIDIA Nemotron 3.5 Bolt 74B-A9B

Nemotron 3.5 Bolt 74B-A9B — открытая модель NVIDIA для ИИ-агентов, которые работают прямо на компьютере пользователя, без облака. Она понимает текст, картинки и видео. Устроена как смесь экспертов (mixture of experts): из 74 млрд параметров на каждый токен (кусочек слова) работают около 9 млрд, поэтому она отвечает быстрее плотной модели того же размера. Основа гибридная: слои Mamba-2, которые хранят сжатую память вместо всей истории текста, чередуются со слоями трансформера, а картинки и видео разбирает отдельный кодировщик C-RADIO v4-H. Перед ответом модель может рассуждать, и это можно выключить или выбрать средний уровень рассуждений.

С нуля её не обучали. NVIDIA уменьшила старшую Nemotron 3.5 Super VL 120B A12B методом поиска архитектуры Star Elastic, а потом доучила: восстановила работу с изображениями и обучила с подкреплением на агентных задачах. Основная версия прошла квантизацию — веса экспертов хранятся примерно в 2 битах вместо 16, — причём модель учили с учётом этого сжатия, чтобы она меньше теряла в качестве. Компания заявляет, что так получается лучше, чем у моделей похожего размера, обученных с нуля и сжатых до 4 бит. По замерам NVIDIA, модель обходит Qwen3.6-35B-A3B и Gemma 4 26B на тестах для агентов: в Terminal-Bench 2.1 (работа в командной строке) у неё 50,98 против 44,38 и 37,22, в BrowseComp (поиск в интернете) — 66,75 против 48,74 и 26,30.

Её берут для повседневной работы агента на своём компьютере: вызывать инструменты, ходить по сайтам в браузере, выполнять команды в терминале, писать код и искать информацию в долгом диалоге. Объём в 24 ГБ выбран, чтобы модель помещалась в память ноутбуков на новой платформе NVIDIA RTX Spark и работала рядом с другими программами. Запускать её можно через llama.cpp, vLLM, Ollama, Unsloth и LM Studio, а также напрямую из агентных приложений Hermes и OpenClaw. Есть и полная, несжатая версия: она нужна тем, кто хочет дообучить модель или сделать свой вариант сжатия.

Для запуска нужно устройство с 24 ГБ памяти: в карточке NVIDIA называет RTX Spark, DGX Spark и серверные видеокарты A100, H100 и Blackwell, операционная система — Linux. По собственным замерам NVIDIA, по скорости модель уступает соседям по классу: около 84 токенов в секунду против примерно 97 у Qwen3.6-35B-A3B и 101 у Gemma 4 26B-A4B. Лучше всего она работает на английском и в коде; среди поддерживаемых языков есть французский, немецкий, японский, китайский и ещё несколько, русского в списке нет. Модель выпущена под лицензией OpenMDW-1.1, которая разрешает коммерческое применение; кроме весов, NVIDIA открыла обучающие данные и рецепты обучения.

источники:Карточка модели на Hugging Face ↗Анонс в блоге NVIDIA ↗Исследовательский блог NVIDIA о сжатии модели ↗