NVIDIA теперь меряет ИИ-серверы токенами на мегаватт и показывает, где его выжать
На AI Infra Summit NVIDIA показала новые тесты. Vera Rubin NVL72 в MLPerf обошла GB300 NVL72 до 3,7 раза, а программа DSX MaxLPS позволила Lambda втиснуть 19 серверов в бюджет мощности, рассчитанный на 16.
В ИИ-дата-центрах главное ограничение теперь не чипы, а электричество. На конференции AI Infra Summit в Санта-Кларе NVIDIA прямо назвала новую мерку: сколько токенов система выдаёт на мегаватт. С докладом выступил вице-президент компании Иэн Бак (Ian Buck), а на саму конференцию приехали больше 8 000 человек — годом раньше было 3 500.
Самые наглядные цифры показало облако Lambda. Оно первым проверило DSX MaxLPS на серверах Blackwell. Это программа, которая следит за потреблением видеокарт и стоек и перекидывает свободную мощность туда, где она нужна. В том же лимите питания, что обычно выделяют на 16 серверов, Lambda запустила 19. Выработка кластера выросла примерно с 4 до 5 млн токенов в секунду, а производительность на ватт — на 23%. Для стоек Vera Rubin NVL72 NVIDIA обещает до 40% больше видеокарт в том же мегаваттном бюджете, но оговаривается: «в подходящих условиях».
В MLPerf Inference v6.1 NVIDIA впервые показала Vera Rubin NVL72, пока в статусе предварительной версии. Стойка выдала до 3,7 раза больше, чем GB300 NVL72. Четыре стойки GB300 на 288 видеокартах масштабировались с эффективностью 99%. Ещё до 1,6 раза прибавки по сравнению с прошлым раундом компания получила только за счёт программ, без нового железа.
Стартап Emerald AI вместе с NVIDIA проверил, может ли ИИ-фабрика подстраиваться под нужды энергосети. Опыт шёл у городской компании Silicon Valley Power. Система отработала сотни сигналов о снижении нагрузки. Главные задачи продолжали считаться, второстепенные на время приостанавливались. Дальше Emerald AI собирается строить такое управление на NVIDIA DSX Flex.
Отдельно NVIDIA собрала отзывы стартапов о своём процессоре Vera. По словам Perplexity, песочницы для агентов на нём запускаются в 1,9 раза быстрее. Redpanda насчитала в 5,5 раза меньшие задержки, Starburst — втрое быстрее запросы. Все эти цифры компании получили сами, и сравнивают они с «другими процессорами» без уточнения, с какими.
Бак обещает заказчикам инфраструктуру, которая «прослужит 10 лет». Проверить это пока нельзя. Зато по новым тестам хорошо видно, как NVIDIA теперь продаёт железо: уже не пиковой скоростью, а тем, сколько работы оно делает на каждый купленный мегаватт.