Высокопропускная память
Высокопропускная память (High Bandwidth Memory, HBM) — стандарт JEDEC, в котором кристаллы памяти собирают в вертикальные стопки и размещают в одном корпусе рядом с процессором или ускорителем. Даёт на порядок большую пропускную способность, чем обычная оперативная память, и потому применяется в ИИ-ускорителях и суперкомпьютерах.
проверено по: en.wikipedia.org ↗
См. также
- Пропускная способностьОбъём работы, который система выполняет за единицу времени (throughput). Для сервисов с языковыми моделями это число обработанных запросов или токенов в секунду по всем одновременным запросам; для каналов связи и памяти — объём данных, передаваемых за секунду. Её часто повышают пакетной обработкой, но при этом может расти задержка отдельного запроса.
- SK hynixЮжнокорейский производитель полупроводниковой памяти из группы SK, основан в 1983 году как Hyundai Electronics. Вместе с Samsung и Micron входит в тройку крупнейших производителей памяти: выпускает оперативную память DRAM, флеш-память NAND и высокопропускную память HBM для ИИ-ускорителей.
- BlackwellАрхитектура графических процессоров Nvidia, пришедшая на смену Hopper и названная в честь математика Дэвида Блэкуэлла. На ней построены ускорители для ИИ в дата-центрах B200 и B300, а также системы GB200 и GB300, где GPU объединены с процессорами Grace. Это название поколения чипов, а не отдельного продукта.
- H200Графический ускоритель NVIDIA для центров обработки данных на архитектуре Hopper, предназначенный для обучения и инференса больших нейросетей и для высокопроизводительных вычислений. По вычислительной части он совпадает с H100, но оснащён памятью HBM3e большего объёма и с большей пропускной способностью, что особенно важно для больших языковых моделей.
В новостях
Китайские компании ждут лишь 1% заказанных чипов NVIDIA, пишет Bloomberg
Память из стопок кристаллов, которую ставят вплотную к вычислительному чипу. Она передаёт данные намного быстрее обычной, поэтому без неё не обходятся ускорители для ИИ.
Будущий ИИ-чип Huawei зависит от корейской памяти, пишет The Information
Память из уложенных друг на друга чипов, которую ставят вплотную к ускорителю, чтобы он быстро получал данные. По-английски — high-bandwidth memory, HBM.
SK Hyper обсуждает с инвесторами дата-центры за 350 млрд долларов, пишет Bloomberg
Память, которую ставят вплотную к вычислительному чипу ускорителя ИИ. Данные она передаёт намного быстрее обычной оперативной памяти.
DeepSeek помогает Huawei проектировать ИИ-чипы, пишет The Information
Память из стопки кристаллов, которую ставят прямо рядом с ускорителем. Она передаёт данные намного быстрее обычной и нужна, чтобы обучать и запускать крупные модели.
Solidigm из SK Hynix готовит IPO на 10 млрд долларов, пишет Bloomberg
Память HBM — стопки чипов DRAM, которые ставят рядом с процессором. Она быстро передаёт данные ускорителям, на которых обучают и запускают нейросети.
GLM-5.3 читает часть контекста, но держит в памяти весь, пишет SemiAnalysis
Высокопропускная память (HBM) — память из стопки кристаллов, которую ставят вплотную к процессору ускорителя. Она передаёт данные намного быстрее обычной оперативной памяти и стоит дороже.