NVIDIA отвечает на дефицит памяти экономией, а не прибавкой объёма

NVIDIA ожидает, что в ближайшее время память для ИИ-ускорителей останется дефицитной и продолжит дорожать. Компания объяснила, как собирается с этим справляться: не наращивать в чипах самую дорогую память, HBM, а получать больше работы с каждого байта.

Почему это важно: прирост нового поколения NVIDIA объясняет не объёмом памяти, а тем, как её используют. В платформе Vera Rubin памяти HBM на ускоритель лишь примерно на 3% больше, чем в Blackwell Ultra. При этом, по оценке компании, в задачах ИИ-агентов новое поколение выдаёт на каждый доллар до 30 раз больше токенов — фрагментов текста, из которых модель составляет ответ.

Как это работает: HBM — самая быстрая и дорогая память ускорителя, и места в ней не хватает. Там лежат веса модели — числа, в которых записано всё, что она усвоила при обучении; у передовых моделей их триллионы. Там же хранится KV-кэш — данные о текущем запросе, благодаря которым модели не нужно заново обрабатывать уже прочитанный текст. У агентов кэш разрастается: они проносят контекст через множество обращений к модели и инструментам, иногда до 3 млн токенов. Ниже по иерархии находятся память процессора, локальные SSD и общие хранилища: они медленнее, зато дешевле в пересчёте на бит.

Детали: просто добавить HBM, по версии NVIDIA, недостаточно: объём полезен, пока память успевает передавать данные. Компания сравнивает HBM со складом, а скорость обмена — с погрузочными воротами. Склад можно расширить, но через ворота за раз всё равно пройдёт не больше груза. Когда пользователи ждут быстрых ответов, память рано или поздно перестаёт успевать подавать данные вычислителю — инженеры называют это стеной памяти. За этим пределом лишнюю HBM не удаётся пустить в дело: в неё поместится контекст новых пользователей, но все они делят одну скорость обмена, и ответы станут медленнее, чем нужно. При этом такая память по-прежнему стоит денег и расходует электричество.

Поэтому NVIDIA разгружает HBM тремя способами:

• Веса модели хранят в 4-битном формате NVFP4. Он компактнее 8-битного FP8 — самого экономного формата у Hopper; 4-битный формат ускорители NVIDIA поддерживают со следующего поколения, Blackwell. В стойке NVL72 веса можно разложить на 72 ускорителя, и каждому достаётся меньшая доля.
• Тот же формат сжимает KV-кэш. Пока агент ждёт ответа инструмента, контекст переезжает в память процессора Vera. Неактивный контекст программа Dynamo¹ переносит в хранилище CMX, общее для нескольких серверов, и возвращает, когда он снова понадобится.
• Индекс для поиска по документам компании держат в памяти процессора и в хранилищах, а в HBM попадают только отрывки документов, которые нужны модели для ответа.

По словам NVIDIA, модели в формате NVFP4 уже выпускают и другие компании, среди них Black Forest Labs, Thinking Machines и Meta*.

В цифрах: NVIDIA приводит результаты теста AgentX² аналитической компании SemiAnalysis³ на модели DeepSeek V4 Pro:

• Стойка GB300 NVL72 выдаёт до 10 раз больше токенов на доллар, чем H200, при скорости 100 токенов в секунду на пользователя. Памяти HBM на ускоритель у неё примерно вдвое больше.
• Vera Rubin NVL72 выдаёт до 30 раз больше на доллар, чем GB300 NVL72, при 125 токенах в секунду на пользователя. Памяти HBM на ускоритель — примерно на 3% больше.

Но: множитель сильно зависит от того, какую скорость ответа взять за точку отсчёта. В сентябрьском разборе того же теста SemiAnalysis насчитала у Vera Rubin около 67-кратного преимущества над GB300 в пересчёте на стоимость владения при 170 токенах в секунду. При 60–100 токенах в секунду, на которых, по оценке аналитиков, такую модель и обслуживает большинство провайдеров, выигрыш составил от 1,4 до 3 раз. Замеры шли на ранней, ещё не выпущенной версии программ, и SemiAnalysis благодарит Дженсена Хуанга и инженеров NVIDIA за помощь с запуском и проверкой результатов.

Если шире: спрос на HBM расписан на годы вперёд. По данным корейской Мэиль кёндже, весь выпуск второго завода Samsung в Тейлоре (Техас) заказан под HBM для AMD и NVIDIA ещё до начала стройки.