NVIDIA выложила в открытый доступ чертежи серверных стоек Vera Rubin

NVIDIA передала сообществу Open Compute Project¹ чертежи стоек и вычислительных модулей для своей новой серверной платформы Vera Rubin² — по ним такие системы смогут собирать и другие производители. Компания объявила об этом на конференции OCP Global Summit, которая открылась 12 октября в Сан-Хосе.

Почему это важно: у производителей стоек, охлаждения и электрооборудования появились общие открытые требования. Начинать выпуск можно, не дожидаясь закрытых спецификаций от каждого заказчика.

Детали: стойку для Vera Rubin описывает обновлённая спецификация модульной архитектуры MGX³ 1.2:

• Модули охлаждаются жидкостью и обходятся без вентиляторов, а трубки охлаждения стыкуются сами, когда модуль вставляют в стойку.
• Питание подаётся по шине на 5 000 ампер: она сделана для более мощных ИИ-систем, и её тоже охлаждает жидкость.
• Одна стойка рассчитана на мощность до 250 кВт и принимает стандартное 19-дюймовое оборудование.

Интрига: на той же архитектуре MGX построена и отдельная стойка, где стоят только процессоры Vera, — для ИИ-агентов. На ней агенты вызывают инструменты, распределяют задачи и запускают код в изолированной среде, а обучение моделей и их ответы остаются за стойками Vera Rubin NVL72 с ускорителями.

Общая картина: NVIDIA выпустила стандарты для ИИ-дата-центров вместе с крупнейшими заказчиками и своим главным соперником в ускорителях:

• Open Data Center Specification v0.7 от AMD, Google, Meta и NVIDIA задаёт общие минимальные требования к зданию ИИ-дата-центра на 2027–2028 годы и дальше — к питанию, охлаждению и планировке.
• Спецификация от Google, Meta, Microsoft и NVIDIA описывает поведение дата-центра при сбоях энергосети: он остаётся подключённым, реагирует автоматически и меньше чем за две секунды возвращается почти к полной нагрузке.

Расклад: на той же конференции NVIDIA объявила три сетевые договорённости:

• Meta переходит на коммутаторы NVIDIA Spectrum-6 на 102,4 Тбит/с и собрала на них свой коммутатор N-IceCube под открытой сетевой операционной системой FBOSS.
• NVIDIA и Cisco предложили формат съёмных оптических модулей USFP: размером с распространённые сейчас модули OSFP, но с вчетверо большей пропускной способностью на ту же площадь и примерно в 1,3 раза энергоэффективнее.
• Будущие сетевые карты NVIDIA ConnectX-10 и процессоры BlueField получат поддержку Falcon — протокола Google, который восстанавливает потерянные при перегрузке пакеты и разводит трафик по нескольким путям.

Но: часть объявлений — пока планы. Спецификация зданий вышла в версии 0.7, модули USFP только предложены, а Falcon появится в сетевых картах, которые ещё не вышли.

Так уже было: в октябре 2024 года NVIDIA так же передала Open Compute Project чертежи стойки и модулей с жидкостным охлаждением для GB200 NVL72 — системы прошлого поколения Blackwell.

Ещё NVIDIA открыла код четырёх инструментов для своей платформы управления ИИ-фабриками DSX: они настраивают сеть, проверяют кластеры, управляют стойками и вводят в строй новые серверы. Один из новых инструментов перед обучением нагружает кластер видеокарт имитацией реальной работы, чтобы задача не оборвалась на полпути. Другой, по словам NVIDIA, превращает только что установленное оборудование в готовый к работе кластер за часы, а не за дни. На соответствие эталонному проекту DSX компания в сентябре начала проверять и оборудование других производителей — накопители энергии и системы охлаждения.