ИИ-фабрика NVIDIA 200 раз снизила потребление по сигналу энергосети и не прервала ни одной задачи

Дата-центр NVIDIA Eos в Санта-Кларе умеет снижать потребление электричества по просьбе энергосети, причём срочные задачи при этом не останавливаются. Местная энергокомпания Silicon Valley Power отправила ему больше 200 таких сигналов. По словам NVIDIA, система сработала каждый раз.

Первый раз это случилось душным августовским вечером. После заката люди включают кондиционеры, и нагрузка на сеть растёт. Сброс нагрузки смотрели в Zoom около сорока человек: команда стартапа Emerald AI, инженеры дата-центра и сотрудники энергокомпании. Никто ничего не нажимал вручную. Программа Emerald AI Conductor получила сигнал и притормозила наименее важные вычисления, а инференс с высоким приоритетом продолжал работать. Потребление упало с четырёх мегаватт до трёх.

«Мы следили затаив дыхание. Мы впервые развернули систему на тысячах GPU NVIDIA», — рассказал глава Emerald AI Варун Сиварам (Varun Sivaram). Руководитель продукта Манси Шах сравнила этот момент с запуском ракеты SpaceX.

Eos участвует в программе гибкого подключения нагрузки Silicon Valley Power. NVIDIA называет её первой коммерческой программой, в которой ИИ-фабрики считаются управляемым ресурсом: их потребление можно снижать по команде энергокомпании. На сигнал Conductor реагирует меньше чем за минуту. Взамен фабрика, готовая сбрасывать нагрузку, может получить больше мощности. NVIDIA рассчитывает перенести эту схему в свою платформу DSX Flex. Первым коммерческим объектом DSX Flex станет ИИ-фабрика на 96 МВт с серверами Vera Rubin в Манассасе (Вирджиния).

Вторая часть DSX, модуль MaxLPS, распределяет питание между серверами в зависимости от их нагрузки. Облачный провайдер Lambda проверил его и уместил 19 серверов в бюджет питания 16. Кластер стал выдавать на 24% больше токенов: около 5 млн в секунду вместо 4 млн. Для будущих фабрик на Vera Rubin NVL72 NVIDIA обещает до 40% больше GPU при том же бюджете, но это пока её собственный прогноз.

Главный аргумент NVIDIA — электричество стало узким местом для ИИ. Если дата-центр умеет уступать сети в часы пик, он может получить подключение быстрее, не дожидаясь, пока построят новые линии электропередачи.