Стойка Vera Rubin NVL72 впервые прошла MLPerf и обогнала GB300 до 3,7 раза
На DeepSeek-R1 разрыв с GB300 NVL72 составил до 2,5 раза. Четыре стойки GB300 на 288 GPU масштабировались с эффективностью 99%, сообщает NVIDIA.
Серверная стойка Vera Rubin NVL72 на модели Qwen3-VL выдала до 3,7 раза больше токенов, чем стойка прошлого поколения GB300 NVL72, говорится в блоге NVIDIA. Это первые результаты новой системы в MLPerf Inference v6.1, их опубликовали 16 сентября.
MLPerf Inference — набор отраслевых тестов консорциума MLCommons. На нём производители сравнивают, как быстро их системы выполняют модели. Vera Rubin NVL72 выступила в категории предварительных результатов: эта категория предназначена для систем, которые ещё не поступили в продажу. NVIDIA подала результаты по двум тестам — Qwen3-VL и DeepSeek-R1. На DeepSeek-R1 разрыв с GB300 NVL72 составил до 2,5 раза. Свои результаты для Vera Rubin NVL72 подало также облако Nebius1.
По словам NVIDIA, прирост дали новые тензорные ядра и 4-битный формат чисел NVFP42, который экономит память под веса модели и кэш. Кроме того, в стойке разделили работу между видеокартами: одни читают запрос, другие генерируют ответ.
Прошлое поколение компания проверила на масштабирование. На DeepSeek-R1 четыре стойки GB300 NVL72 (288 GPU) показали эффективность масштабирования 99%, то есть пропускная способность выросла почти пропорционально числу видеокарт. На тесте генерации видео WAN 2.2 стойка GB300 NVL72 выдавала 0,65 ролика в разрешении 720p в секунду, на каждый уходило 5,7 секунды. Это в 9 раз больше, чем у одного сервера, а задержка — в 7,5 раза ниже.
Одни только программные оптимизации ускорили GB300 NVL72 на Qwen3-VL до 1,6 раза по сравнению с прошлым раундом, v6.0. После дедлайна v6.1 NVIDIA получила ещё более высокие результаты на GPT-OSS-120B и DLRMv3. MLCommons их пока не проверил.
Всего в раунде результаты на оборудовании NVIDIA подали 19 партнёров, в том числе Azure, CoreWeave, Dell, HPE, Oracle Cloud Infrastructure и Supermicro. Восемь из них выставили системы из нескольких стоек. Кроме того, NVIDIA проверила компактный модуль Jetson AGX Thor3 на новом тесте Edge-Agentic: он оценивает работу агентов на устройствах и использует модель Qwen3.6-27B.
Ранее, 15 сентября, на конференции AI Infra Summit NVIDIA уже называла цифру в 3,7 раза. В августе компания сообщала, что на тесте SemiAnalysis AgentX стойка Vera Rubin NVL72 выдаёт до 30 раз больше токенов на мегаватт, чем GB300 NVL72.