Samsung представляет смелое видение эволюции базового кристалла HBM с использованием передовых логических процессов. В докладе рассматриваются проблемы пропускной способности и энергопотребления архитектуры, а затем описывается трёхфазная дорожная карта: от возврата площади и расширения функциональности до полной 3D-интеграции ZHBM, которая превращает базовый кристалл в интеллектуального партнёра для систем ИИ нового поколения.
Samsung представляет трёхфазную дорожную карту HBM к настоящему 3D ZHBM, который размещает DRAM непосредственно на вычислителе для ИИ
В презентации Сангвука Хана, входящего в группу разработки DRAM компании Samsung, основное обсуждение сосредоточено на эволюции HBM с использованием передовых логических процессов, причём главным объектом внимания является базовый кристалл HBM.
Презентация на Hot Chips начинается с краткого обзора архитектуры HBM, которая включает две основные части: C-кристалл (Core Die), содержащий ядро и ячейки DRAM, и B-кристалл (Base Die), расположенный внизу и отвечающий за различные процессы DRAM. Core Die может масштабироваться до 16 стеков (16-Hi) с использованием передовых процессов DRAM, таких как D1a, D1b, D1c и т.д., и они соединяются с помощью нескольких TSV (сквозных кремниевых переходов). Микросхема HBM содержит PHY внутри базового кристалла, чтобы подключаться к вычислительному кристаллу (XPU: GPU, TPU и т.д.) через быстрый соединительный канал для быстрой передачи данных.
Эволюция базового кристалла HBM: ключевой обзор
- Докладчик: Санг-Ву Кан, группа разработки DLM, бизнес-подразделение памяти Samsung
- Основная мысль: передовые логические процессы превращают базовый кристалл HBM из простого интерфейса в интеллектуального, активного партнёра для систем ИИ.
- Основные движущие силы: более высокая пропускная способность (удвоение с каждым поколением) и растущие требования к ёмкости, ограниченные плотностью TSV и энергопотреблением/площадью PHY I/O.
- Путь решения: миграция базового кристалла на передовые логические узлы → Custom HBM (CHBM) → Advanced HBM (AHBM) → ZHBM (настоящий 3D).
Анализируя текущую тенденцию эволюции DRAM/HBM, можно отметить, что более высокая пропускная способность является основным драйвером, поскольку спрос на ИИ продолжает расти, а потребность в более быстрой подаче данных в вычислительные ускорители значительно возрастает.
В настоящее время HBM4 обеспечивает более 3 ТБ/с на стек, HBM4E выводит этот показатель в диапазон 4 ТБ/с, а HBM5 удваивает пропускную способность по сравнению с HBM4 при ёмкости более 60 ГБ. Однако масштабирование пропускной способности сопряжено с определёнными ограничениями, основными из которых являются количество TSV, лимит шага, а также количество I/O и ограничения скорости внутри базового кристалла.
Передовые технологические процессы являются ещё одним ограничением, и с каждым поколением технологический разрыв между B-кристаллом и SoC xPU сокращается. Однако существуют и преимущества использования передовых логических узлов. Samsung заявляет, что применила свои процессы D1c и 4 нм к HBM4 с основной целью — снизить энергопотребление и уменьшить активную площадь. Эти изменения знаменуют начало настоящей интеграции DRAM и передовой логики.
Одной из областей, на которых Samsung хочет сосредоточиться, является её кастомная HBM, которая исследует интеграцию дополнительных функций на базовом кристалле. На стандартных базовых кристаллах HBM доступны только базовые функции передачи данных и тестирования. Для кастомной HBM ключевая идея заключается в использовании передовых логических процессов для интеграции функций, подобных SoC, внутри базового кристалла при совместном использовании стандартных стеков Core Die.
Поскольку кастомное решение HBM уже использует передовые логические процессы, оно может помочь вернуть часть площади от xPU за счёт переноса определённых функций. Кастомная HBM также заменяет традиционный PHY HBM (используемый в стандартных модулях HBM) на интерфейс D2D на базе передовых логических процессов. Это не только занимает меньше места, но и обеспечивает более короткие каналы, что напрямую повышает энергоэффективность. Это также освобождает ценную площадь кремния для расширения xPU.
Начиная с HBM4 и до HBM5, кастомное решение HBM с передовыми логическими процессами может значительно сократить площадь PHY и D2D. Хотя это приводит к уменьшению длины канала, это также создаёт проблему — возникновение тепловых горячих точек.
Для решения этой проблемы Samsung уже представила технологию Heat Path Block (HPB), которая построена на основе решения Samsung cHBM4 (кастомная HBM4) и снижает пиковую температуру более чем на 35%, покрывая 50% PHY.
После внедрения этого решения следующим шагом является перенос логики из xPU в cHBM. Основным кандидатом является контроллер памяти, влияние которого на тепловыделение управляемо. Другой рассматриваемый блок — схема восстановления ячеек “SRAM-Base” типа Near-MC, которая использует неиспользуемое пространство базового кристалла для ресурсов восстановления SRAM, обеспечивая дешифрацию адресов сбоев на уровне ячеек и перенаправление в контроллере памяти.
На втором этапе Samsung также предлагает интегрировать контроллер/PHY расширения памяти в неиспользуемое пространство для увеличения ёмкости памяти, необходимой в современном ландшафте ИИ, поскольку контекстные окна растут экспоненциально, вызывая огромные потребности в кэше KV. PHY может использоваться для интеграции большей ёмкости за счёт внешних решений памяти. Другие аспекты кремния, которые могут быть перенесены на базовый кристалл в cHBM, включают частичные вычислительные “Processing Elements”, что также может снизить требования к пропускной способности D2D, энергопотребление и тепловую нагрузку.
Трёхфазная революционная дорожная карта
Все эти этапы ведут к третьему этапу — 3D-интеграции. Для этого Samsung разрабатывает новое решение HBM под названием zHBM, которое вертикально интегрирует HBM поверх XPU. Это тесно связанное решение дополнительно экономит площадь кремния и устраняет необходимость в 2.5D interposer.
Решение Samsung zHBM использует распределённые I/O для минимизации расстояний передачи данных внутри стека HBM, в то время как 3D-структура устраняет традиционные 2D-интерфейсы, обеспечивая гораздо более высокую эффективность для систем, спроектированных с ультранизким энергопотреблением. Снижение энергопотребления достигается за счёт уменьшения энергопотребления I/O, поскольку оптимизации удаляют SerDes, помогая устранить накопление излишних энергетических накладных расходов.
По сравнению со стандартным стеком HBM4e, решение zHBM, как утверждается, обеспечивает улучшение энергоэффективности на 70%, увеличение пропускной способности DRAM на 230%, экономию до 100 Вт на модуль DRAM и дополнительную мощность до 8,3% для XPU (в данном примере GPU). Представленное решение включает четыре стека zHBM поверх XPU.
Для реализации zHBM Samsung работает над передовыми технологиями упаковки, такими как WoW (Wafer on Wafer) и HCB (Hybrid Cube Bonding), чтобы обеспечить сверхвысокую плотность I/O для создания унифицированного дизайна SoC-DRAM.
Таким образом, эволюция базового кристалла HBM с помощью передовых логических процессов знаменует собой преобразующий сдвиг для архитектур памяти эпохи ИИ. Перенося базовый кристалл на передовые узлы, Samsung открывает беспрецедентную гибкость, выходящую за рамки традиционной маршрутизации данных и тестирования. Трёхфазная дорожная карта реализует это видение:
- Фаза 1 возвращает ценную площадь кремния XPU благодаря компактному интерфейсу D2D, тепловым блокам для управления температурой и переносу контроллера памяти — что обеспечивает более высокую плотность ядер и эффективное восстановление ячеек с помощью встроенной SRAM.
- Фаза 2 расширяет функциональность за счёт интеграции передовой телеметрии RAS, внутрикристального тестирования, расширения ёмкости памяти рядом с ней и селективных вычислительных элементов (AHBM). Этот гибридный подход уменьшает перемещение данных, снижает энергопотребление и отвечает требованиям к пропускной способности и ёмкости моделей ИИ следующего поколения.
- Фаза 3 реализует настоящую 3D-конвергенцию с ZHBM, устраняя 2.5D interposer. Распределённые I/O и вертикальное штабелирование обеспечивают ультранизкое энергопотребление (целевой показатель ~0,5 пДж/бит), более чем двукратное увеличение пропускной способности и значительный тепловой запас на уровне системы для повышения вычислительной производительности.
Вместе эти достижения — кастомная HBM сегодня и ZHBM завтра — позиционируют базовый кристалл как активного, интеллектуального партнёра XPU. Освоив передовую упаковку и унифицированное совместное проектирование SoC-DRAM, мы преодолеем ограничения по энергопотреблению, площади и ёмкости, которые сдерживают системы ИИ, открывая путь к более высокой эффективности, производительности и масштабируемости в ближайшие годы.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Hassan Mujtaba
