Движок vLLM для запуска моделей получил поддержку стоек NVIDIA Vera Rubin

Открытый движок vLLM, на котором компании разворачивают языковые модели для своих сервисов, получил поддержку серверных стоек NVIDIA Vera Rubin NVL72. Об этом разработчики движка сообщили в соцсети X.

Детали: по первым замерам, на Rubin модель MiniMax M3 обрабатывает за секунду более чем в 7,8 раза больше токенов, чем на системах GB200 прошлого поколения. Это суммарная пропускная способность¹ по всем запросам, а не скорость ответа одному пользователю. Нагрузку давал AgentX — открытый бенчмарк аналитической компании SemiAnalysis, который воспроизводит записанные сессии агентов для программирования.

MiniMax подтвердила, что M3 уже работает на Vera Rubin NVL72 через vLLM. Компания поблагодарила команду vLLM, Inferact — стартап создателей движка, — а также NVIDIA и Red Hat. Переносом движка на Rubin с самого анонса платформы занимались Inferact, NVIDIA, Red Hat и сообщество vLLM.

Но: это ранние результаты, и сравнение идёт с GB200, а не с более новой GB300, с которой Rubin сравнивали в прежних тестах.

Ранее, в августе, NVIDIA заявляла, что на задачах агентов Vera Rubin при той же потребляемой мощности обрабатывает до 30 раз больше токенов, чем GB300. В сентябре стойка впервые выступила в MLPerf, отраслевом наборе тестов производительности ИИ-систем, и обогнала GB300 до 3,7 раза.