ИИ-центр NVIDIA 200 раз снизил потребление по сигналу энергосети. Как это работает
В первый раз мощность дата-центра в Санта-Кларе упала с 4 до 3 МВт за счёт отложенных второстепенных задач, а инференс продолжал работать. Людям вмешиваться не пришлось.
Суперкомпьютер NVIDIA Eos1 в Санта-Кларе больше 200 раз снижал потребление электричества по запросу местной энергокомпании Silicon Valley Power, и каждый раз это срабатывало, сообщила NVIDIA в своём блоге. Нагрузкой дата-центра управляет платформа Conductor от стартапа Emerald AI — партнёра NVIDIA.
«Мы следили, затаив дыхание. Мы впервые развёртывались на тысячах GPU NVIDIA», — вспоминает глава Emerald AI Варун Сиварам первый такой случай.
Это было жарким августовским вечером, когда кондиционеры сильнее всего нагружают сеть. Conductor получил сигнал и действовал по заранее заданным приоритетам. Задачи, которые могут подождать, замедлились или перенеслись, а инференс — работа моделей, отвечающих на запросы, — не прерывался. Потребление упало с 4 до 3 МВт без участия операторов. По данным NVIDIA, на сигнал сети Conductor отвечает меньше чем за минуту.
Eos участвует в программе гибкого подключения нагрузки Silicon Valley Power — муниципальной энергокомпании Санта-Клары. NVIDIA называет её первой коммерческой программой энергокомпании, в которой ИИ-дата-центры считаются управляемой нагрузкой. Суть обмена такая: дата-центр, готовый снижать потребление по сигналу, может получить подключение на большую мощность. По мнению NVIDIA, так ИИ-дата-центры смогут получать электричество, не дожидаясь десять лет, пока построят новые линии электропередачи.
Conductor встроят в DSX Flex. Это часть DSX — набора эталонных проектов, симуляторов и программ NVIDIA для строительства ИИ-дата-центров и управления ими, который компания показала в мае на GTC Taipei. Первым коммерческим объектом DSX Flex станет дата-центр на 96 МВт с системами Vera Rubin2 в Манассасе (Вирджиния) при исследовательском центре NVIDIA.
Другая программа DSX, MaxLPS, перераспределяет мощность между серверами в зависимости от того, обучают они модель или отвечают на запросы. Её проверил облачный провайдер Lambda, у которого больше 10 000 клиентов. В кластере из пяти стоек 19 серверов работали в бюджете мощности, рассчитанном на 16. Кластер стал выдавать на 24% больше токенов — около 5 млн в секунду вместо 4 млн, а производительность на ватт выросла на 23%. По прогнозу NVIDIA, в дата-центрах на Vera Rubin NVL72 MaxLPS позволит разместить в том же бюджете мощности до 40% больше GPU.
Ранее, 15 сентября, вице-президент NVIDIA Иан Бак сделал эффективность ИИ-дата-центров главной темой своего выступления на AI Infra Summit. Там же компания впервые показала результаты теста Lambda.