d-Matrix подключит свои ИИ-чипы Raptor к стойкам и сети NVIDIA

Разработчик чипов d-Matrix будет подключать свои ускорители следующего поколения Raptor к инфраструктуре NVIDIA через технологию NVLink Fusion, сообщила NVIDIA в блоге. Это ИИ-ускорители для инференса — запуска уже обученных моделей.

«Спрос на инференс стремительно растёт, но капитал, время и энергия по-прежнему ограничены», — заявил сооснователь и глава d-Matrix Сид Шет (Sid Sheth) на брифинге для прессы. По его словам, NVLink Fusion и MGX¹ позволят встроить Raptor в распространённую архитектуру с жидкостным охлаждением. Так клиенты быстрее и с меньшим риском смогут запустить инференс со сверхнизкой задержкой.

d-Matrix — стартап из Санта-Клары, основанный в 2019 году. Компания делает ускорители только для инференса, а не для обучения моделей.

NVLink Fusion — программа NVIDIA для сторонних разработчиков процессоров. Их чипы подключаются к скоростной шине NVLink, сети и типовым стойкам NVIDIA, а также к её цепочке поставок. Разработчику не нужно самому проектировать и сертифицировать стойку, питание и охлаждение.

d-Matrix планирует связать Raptor через NVLink в единый скоростной контур внутри стойки. Её стойки смогут работать вместе с системами NVIDIA Vera Rubin NVL72² при разделённом инференсе, когда этапы обработки запроса выполняются на разном оборудовании. Кроме того, компания использует процессоры NVIDIA Vera, сетевые карты ConnectX-9, сопроцессоры BlueField-4 и сеть Spectrum-X. Сроки выхода Raptor и первых стоек не названы.

В августе NVIDIA рассказала, как через NVLink Fusion к её сети и стойкам подключаются собственные чипы облачных гигантов, в том числе Amazon. 26 августа компания представила для участников программы память NVHBM, первой её использует Annapurna Labs из Amazon.