Micron разбирает, что такое High Bandwidth Memory (HBM), почему она критически важна, как она сравнивается с традиционной DDR, и какие ключевые вызовы требуют дальнейших инноваций для удовлетворения растущих потребностей ИИ.
Micron раскрывает: сбои HBM стали причиной 17% прерываний обучения Llama 3 от *Meta по мере углубления «памятной стены»
По мере развития больших языковых моделей ИИ необходимость в передовых технологиях памяти становится критической для непрерывного масштабирования и улучшения этих моделей. Но память уже превращается в серьёзное узкое место, ограничивающее производительность систем ИИ.
HBM в настоящее время является ведущим типом DRAM, используемым в передовых ускорителях ИИ. Для достижения максимальных операций в типичной системе ИИ большая часть работы привязана к памяти, так как вычислительные процессоры ожидают поступления новых данных. После завершения работы система переходит в фазу, ограниченную вычислениями, когда данные поступают достаточно быстро, чтобы поддерживать процессоры занятыми. Благодаря HBM потолок пропускной способности памяти повышается, позволяя ресурсоёмким ИИ-нагрузкам достигать более высокой производительности до достижения ограничений памяти.
Рагху Срираманени, сотрудник Micron по архитектуре HBM Design Architecture Fellow, пролил свет на этот «памятный колодец» во время презентации на Hot Chips 2026. Компания утверждает, что вычислительные возможности растут со скоростью в 3 раза каждые два года, тогда как память развивается менее чем в 2 раза каждые два года. В настоящее время существует три типа архитектуры памяти: память с подключением 2.5D, передовая память 2.5D и DRAM с обработкой внутри памяти.
Ключевые выводы выступления на Hot Chips 2026 включают:
- Память является центральным элементом масштабирования производительности LLM (больше вычислительных мощностей, крупнее наборы данных, больше параметров).
- Вычисления масштабируются ~3× каждые два года; пропускная способность HBM — только ~2× каждые два года → «памятная стена» сохраняется и может ухудшаться.
- В типичном GPU SIP с четырьмя стеками HBM высотой 12 слоёв кремний памяти составляет ~90% всего кремния (в 8 раз больше, чем кремний GPU).
- HBM — это наиболее кросс-функционально сложное решение для памяти (упаковка + процесс + дизайн) в форм-факторе размером с почтовую марку.
- Нагрузки ИИ часто ограничены памятью; более высокая пропускная способность HBM сдвигает roofline вверх и раскрывает больше пиковой производительности процессора.
- Высота стеков выросла с 4 до 16 слоёв (существует путь к 20 слоям, но он сталкивается с серьёзными тепловыми/механическими препятствиями).
- В документе *Meta по обучению Llama 3 указано, что 17% незапланированных прерываний были вызваны HBM.
Такой ускоренный темп в ИИ требует передового решения для памяти, и HBM играет жизненно важную роль в этом сегменте. Проблема существующей HBM в том, что по мере увеличения плотности на одну микросхему DRAM эффективность (пДж/бит) снижается. Для решения этой проблемы отрасли необходимо перейти к прорывным технологиям процесса и упаковки, а также к возможности разгрузки GPU через продвинутый D2D PHY и поддержке пользовательских функций.
В настоящее время Micron предлагает HBM4 — своё самое быстрое решение HBM на сегодняшний день. Оно обеспечивает пропускную способность до 2800 ГБ/с, вдвое больше IO и вдвое больше каналов по сравнению с HBM3E. С каждым поколением у HBM растёт скорость передачи данных, количество псевдоканалов, плотность и высота стека.
Основные строительные блоки HBM остаются прежними, с постепенными изменениями в каждом поколении. Архитектуры HBM включают уложенные стопкой кристаллы DRAM, содержащие несколько независимых каналов; каждый канал имеет два псевдоканала, которые включают общую шину команд/адресов и независимую шину данных.
Далее идёт базовый кристалл, который обеспечивает интерфейс команд и данных между хостом и DRAM. Базовый кристалл имеет Microbump PHY, соединяющий хост с базовым кристаллом, и оснащён 3D TSV PHY, который соединяет стек DRAM с базовым кристаллом. Этот позвоночник проходит сверху донизу куба HBM. Затем куб HBM соединяется с интерпозером с помощью высокоплотных и коротких соединений «точка-точка» (HBM4 имеет 2K IO).
Говоря о преимуществах HBM перед традиционными решениями DRAM на основе DDR, первое — это гораздо более высокая системная пропускная способность, достигаемая на GPU с использованием нескольких стеков HBM. В то время как решения на основе DDR обеспечивают большую ёмкость, они также занимают больше места, тогда как HBM располагается ближе к GPU и предлагает пропускную способность в диапазоне много ТБ/с по сравнению с много ГБ/с у DDR.
HBM против традиционной DDR DRAM
У HBM есть и недостатки. Одна из проблем — тепловая, которая становится всё более серьёзной по мере масштабирования решения.
Micron призывает к необходимости тепловых инноваций для решения этой задачи. Проблема не столько в энергопотреблении, сколько в плотности мощности, и базовый кристалл — область, наиболее подверженная влиянию, поскольку большая часть расширенной функциональности находится внутри базового кристалла, а увеличение высоты стека приводит к повышению активности кристалла. Среди решений — жидкостное охлаждение и гибридное соединение (Hybrid bonding), но Micron также работает над решениями следующего поколения для «передовой упаковки», которые могут помочь смягчить тепловые проблемы.
Они включают использование Fusion bonding для поддержки чрезвычайно плотных шагов с разрешением в однозначные микроны, что позволяет перемещать значительно больше данных через упаковку. Это уменьшает количество слоёв диэлектрика между кристаллами DRAM внутри стека, улучшая тепловое сопротивление.
Micron также рассматривает новые конструкции высокоскоростных IO с более оптимизированным для памяти решением SerDes. Ведутся исследования по расширению стеков HBM за пределы 16-Hi, но Micron заявляет, что ещё предстоит много работы.
HBM стала незаменимой основой, питающей современные системы ИИ — обеспечивая исключительную пропускную способность, плотность и энергоэффективность за счёт сложного стекирования, экстремального параллелизма и передовой упаковки, с которыми традиционная DDR просто не может сравниться.
Однако путь вперёд далеко не прост. Постоянная «памятная стена», сложное взаимодействие тепловых эффектов, надёжности, взаимодействия кристалла и упаковки, а также всё более высокие стеки требуют непрерывных кросс-функциональных инноваций.
По мере развития нагрузок ИИ и размытия границ между вычислениями и памятью коллективный опыт отрасли будет необходим для преодоления этих вызовов, масштабирования ёмкости и производительности и поддержания того замечательного прогресса, который переопределяет будущее вычислений.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Hassan Mujtaba
