компания · 9 новостей за 60 дней
Главный производитель ускорителей для обучения и работы моделей. Выпускает и собственные открытые модели Nemotron.
Meta подготовила для ускорителей NVIDIA версию весов своей модели Muse Spark Open, которая занимает меньше памяти; по замерам NVIDIA, на стойке GB300 модель выдаёт пользователю до 600 токенов в секунду.
Открытая Nemotron 3.5 Super VL читает документы, графики и видео, сама запускает поиск, код и другие программы, а компании могут дообучить её на своих данных.
Облака и компании могут бесплатно ставить у себя и встраивать в свои сервисы Run:ai — платформу NVIDIA, которая делит видеокарты кластера между командами и задачами.
Приём ReplaySSM реже переписывает сжатую память, которую модели вроде Qwen3.5 и Nemotron 3 в большинстве слоёв хранят вместо всей истории текста: при 256 одновременных запросах генерация ускоряется в 1,2–1,47 раза.
Примерно за 4,5 часа обучения на двух видеокартах открытая модель NVIDIA стала почти вдвое реже ошибаться в двух саудовских диалектах, не разучившись распознавать английскую речь.
На примере Nemotron 3.5 Lightning NVIDIA показала: смесь экспертов даёт скорость, но экономит только вычисления. Видеопамяти ей нужно столько же, сколько плотной модели того же размера.
На ускорителях GB300 скорость выросла со 103 до 1 068 терафлопс на видеокарту. Модель обучали так, что эксперты не отбрасывают ни одного токена. Весь набор доработок вошёл в готовый контейнер MaxText.
Замер провели на сервере с четырьмя GPU B200 при скорости 50 токенов в секунду на каждого пользователя. Оптимизированный стек выдал 1 997 токенов в секунду на всю систему.
На внутреннем тесте дообученная модель на 30 млрд параметров приняла верное решение в 86,7% случаев. Более крупная Nemotron 3 Ultra — в 55,5%.
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.