NVIDIA предлагает Amazon и другим разработчикам своих чипов собственные стойки и сеть

NVIDIA хочет, чтобы компании со своими ИИ-чипами не строили вокруг них всё с нуля. Для этого у неё есть программа NVLink Fusion. Собственный ускоритель облачного гиганта или ИИ-компании подключается к сети NVIDIA, ставится в её стойки и собирается на тех же заводах, что и серверы NVIDIA. В новом посте компания объяснила, что это даёт.

Аргумент такой: сделать чип — только полдела. Нужны быстрая сеть между ускорителями, стойка с питанием и охлаждением, управляющий софт и поставщики. По словам NVIDIA, именно на этом команды теряют время. В NVLink Fusion до 72 сторонних чипов связаны шестым поколением NVLink. Компания утверждает, что задержка при обмене между чипами втрое ниже, чем в решениях на готовом Ethernet, а пакетов за секунду проходит в 10 раз больше. В планах — домены до 1 152 ускорителей. Отдельное соединение с процессорами Vera, по данным NVIDIA, до шести раз энергоэффективнее PCIe.

Второй довод — сборка и сроки. Сторонние чипы можно ставить в стойки той же архитектуры, что и Vera Rubin NVL72, и собирать у тех же поставщиков. «С Vera Rubin мы близки к почти 100-процентной автоматизации сборки систем на линии», — говорит Джек Луо (Jack Luoh), руководитель по продуктам в QCT и Quanta Computer. По его словам, если чип использует NVLink Fusion, большую часть этих вложений можно задействовать повторно.

Третий довод — гибкость. Дата-центр проектируют задолго до того, как станет ясно, какие чипы в нём будут стоять. Системы на своих чипах и на GPU NVIDIA могут делить одни стойки, сеть, охлаждение и питание. Вице-президент MediaTek Винс Ху говорит, что клиенты могут сначала развернуть стойки с GPU NVIDIA, а свой чип доводить в собственном темпе. В Annapurna Labs, чиповом подразделении Amazon, ценят готовую конструкцию стойки NVL72 и выбор среди нескольких поставщиков.

Все цифры в посте — оценки самой NVIDIA. С какими именно Ethernet-решениями она сравнивала, компания не уточняет. Сроков и цен в посте тоже нет.