NVIDIA перенесла контроллер памяти из ИИ-чипа в стек HBM: технология NVHBM

NVIDIA предлагает разработчикам собственных ИИ-чипов новую память — NVHBM. Главная идея — убрать контроллер памяти с вычислительного кристалла и встроить его в сам стек памяти. Технологию будут проверять и продавать крупные производители памяти. Доступна она клиентам программы NVLink Fusion.

Сейчас контроллер HBM обычно стоит на кристалле ускорителя и занимает место, которое могло бы уйти под вычисления. В NVHBM собственный контроллер NVIDIA перенесён в базовый кристалл — нижний слой многоэтажного стека HBM. По словам компании, на той же технологии будут построены её будущие GPU.

NVIDIA сравнивает NVHBM со стандартной HBM4E. Пропускная способность памяти вырастает до 30%, энергопотребление памяти падает на 15%. На вычислительном кристалле освобождается до 25% площади. Независимых проверок этих цифр пока нет.

NVIDIA хочет сделать NVHBM стандартной реализацией, которую будут выпускать сразу несколько поставщиков памяти. Тогда разработчику чипа не придётся отдельно подключать и проверять память каждого производителя, а свой ускоритель он выпустит быстрее. Какие именно производители памяти участвуют, компания не называет. Сроков и цен тоже нет.

Первой с NVHBM начнёт работать Annapurna Labs — подразделение Amazon, которое делает чипы Trainium. Раньше AWS уже обещала поддержать NVLink Fusion начиная с Trainium4. Тогда чипы Amazon и GPU NVIDIA смогут работать вместе в одних серверных стойках. «NVHBM — это новый архитектурный подход к повышению производительности и эффективности памяти с высокой пропускной способностью», — сказал вице-президент Annapurna Labs Нафеа Бшара.

Сама NVLink Fusion нужна, чтобы подключать чужие ускорители и процессоры к сети и стойкам NVIDIA. С NVHBM программа теперь охватывает ещё и память. Разработчик своего чипа получает от NVIDIA почти всё, кроме вычислительного ядра, — и всё сильнее зависит от её технологий.