Стартап d-Matrix поставит свои чипы для инференса Raptor в стойки NVIDIA через NVLink Fusion

Стартап d-Matrix разрабатывает чипы для инференса, то есть для запуска уже обученных моделей. Свои ускорители Raptor следующего поколения он будет встраивать в инфраструктуру NVIDIA. Для этого компания подключится к программе NVLink Fusion, через которую чужие процессоры получают доступ к сети, серверным стойкам и цепочке поставок NVIDIA.

Смысл сделки простой. Спроектировать чип — только полдела. Чтобы поставить его в дата-центр, нужны быстрые соединения между чипами, стойка, питание, жидкостное охлаждение, программы и налаженные поставки. Каждый такой этап отнимает время и деньги. Теперь d-Matrix сможет взять готовые стойки стандарта NVIDIA MGX и не строить всё это сама.

«Спрос на инференс стремительно растёт, но капитал, время и энергия по-прежнему ограничены», — сказал сооснователь и глава d-Matrix Сид Шет. По его словам, NVLink Fusion и NVIDIA MGX дают клиентам более быстрый и менее рискованный путь к инференсу со сверхнизкой задержкой.

Внутри стойки d-Matrix свяжет ускорители Raptor по NVLink, чтобы они работали как единый вычислительный блок. Такие стойки смогут работать в паре с системами Vera Rubin NVL72 на видеокартах NVIDIA и делить с ними работу: разные этапы обработки запроса пойдут на разное железо. Кроме того, d-Matrix собирается использовать процессоры Vera, сетевые карты ConnectX-9, DPU BlueField-4 и сеть Spectrum-X.

В августе NVIDIA подробно рассказала о NVLink Fusion, и тогда о программе высказались Intel, MediaTek и Annapurna Labs из Amazon. Позже в программу добавили память NVHBM. Сроков выхода Raptor, характеристик чипа и цен в анонсе нет. Выгода NVIDIA тоже понятна: даже чужие ускорители будут стоять в её стойках и работать через её сеть.