Nemotron 3 Nano Omni

Nemotron 3 Nano Omni — открытая модель NVIDIA, которая в одной сети понимает текст, картинки, видео и звук, а отвечает текстом. В ней около 31 млрд параметров, но на каждый токен работают лишь около 3 млрд. Так устроена смесь экспертов (mixture of experts): под каждый фрагмент включаются только нужные части сети. Основа гибридная: слои Mamba экономят вычисления на длинных входах, слои трансформера отвечают за рассуждения. Картинки и кадры обрабатывает отдельный визуальный кодировщик RADIO, звук — кодировщик речи Parakeet.

От текстовой Nemotron 3 Nano её отличает понимание звука и видео. Для видео NVIDIA добавила учёт движения между кадрами и сжатие визуальных токенов, чтобы длинные ролики не забивали контекст. Компания предлагает Omni вместо связки из отдельных моделей для зрения, речи и текста: по её словам, так меньше обращений к разным моделям и проще собирать систему. По замерам NVIDIA, модель лучшая в своём классе на тестах распознавания документов MMlongbench-Doc и OCRBenchV2 и лидирует на тестах понимания видео и звука WorldSense, DailyOmni и VoiceBench. В карточке модели приведены, например, 72,2% на Video MME и 47,4% на OSWorld — тесте управления компьютером.

Модель берут для разбора больших документов и сканов, расшифровки и анализа записей, поиска событий в видео, автоматизации работы с интерфейсом программ, а также для агентов в финансах, медицине и медиа. Рассуждения перед ответом включены по умолчанию, их можно отключить ради скорости. Веса выложены в нескольких вариантах точности. Сжатая версия NVFP4 помещается на одну игровую видеокарту RTX 5090, полная версия требует одной H100.

У модели есть ограничения. Она понимает только английский язык. Аудио принимает длиной до часа, видео — до двух минут. Веса распространяются по лицензии NVIDIA Open Model License: она разрешает коммерческое использование, но это не стандартная открытая лицензия вроде Apache 2.0.

источники:Анонс в техническом блоге NVIDIA ↗Карточка модели на Hugging Face ↗