NVIDIA: NIM обслуживает до 2,5 раза больше пользователей Nemotron 3 Ultra

Сервис NVIDIA NIM с готовыми настройками позволяет обслуживать на одном сервере до 2,5 раза больше одновременных пользователей модели Nemotron 3 Ultra, чем открытый стек без этих настроек, говорится в блоге NVIDIA для разработчиков. Сравнение провели при условии, что каждый пользователь получает ответ со скоростью 50 токенов в секунду.

NIM — это контейнер-микросервис: в нём NVIDIA упаковывает модель, среду запуска и проверенные настройки под конкретные GPU и точность вычислений, а наружу отдаёт стандартный API. Корпоративным клиентам компания продаёт версию NIM Certified в составе подписки NVIDIA AI Enterprise. В неё входят регулярные обновления, исправление уязвимостей и коммерческая поддержка.

Нагрузку в тесте подобрали под работу ИИ-агентов. Запрос занимал 64 тыс. токенов, ответ — 400 токенов, а 76% контекста повторялось между запросами. Интервал между токенами не превышал 20 мс. На сервере с четырьмя B200¹ оптимизированный стек NIM 2.0.12 выдал 1 997 токенов в секунду на всю систему.

Прирост, по словам NVIDIA, дают несколько настроек сразу:

• ядра для слоёв смеси экспертов² и Mamba³, автоматически подобранные под GPU Blackwell;
• тензорный параллелизм, при котором модель разложена на четыре GPU;
• кэширование повторяющегося начала запросов, в том числе при частичном совпадении, и отдельно настроенный кэш состояний Mamba;
• подобранные лимиты планировщика, размеры пакетов запросов и выделение памяти;
• спекулятивное декодирование MTP: модель заранее предлагает несколько следующих токенов, а проверка оставляет только верные.

Складывать эффекты отдельных настроек нельзя, они влияют друг на друга, предупреждает компания. Выигрыш от MTP зависит от того, какую долю предложенных токенов модель принимает и сколько остаётся свободной памяти. Опубликованные графики NVIDIA называет отправной точкой, а не обещанием: разработчикам она советует прогнать через NIM записи своего трафика с помощью инструмента AIPerf и выбрать настройку, которая укладывается в их требования к задержке.

В июле NVIDIA рассказывала, как Nemotron 3 Ultra в агенте ACE-RTL решила в среднем 97,1% задач бенчмарка по проектированию микросхем.