Исследователи из Кореи и Японии представили два отдельных предложения по интеграции памяти, направленных на увеличение емкости и пропускной способности HBM (High-Bandwidth Memory) без увеличения тепловыделения внутри все более высоких стопок DRAM (Dynamic Random Access Memory), что является одной из самых насущных проблем для будущих ИИ-ускорителей. Представленные на симпозиуме IEEE/JSAP по технологиям и схемам VLSI 2026 года, который проходил в июне, два подхода — V-Die от корейского исследовательского консорциума и MOSAIC от группы под руководством Токийского университета — оба исследуют одну и ту же общую идею размещения чипов DRAM на ребрах вместо того, чтобы просто складывать их вертикально, как в традиционных HBM.
Корейское предложение, получившее название Vertical-Die (V-Die), было представлено исследователями из Ульсанского национального института науки и технологий (UNIST). Конструкция располагает пользовательские чипы DRAM вертикально, использует сквозные кремниевые соединения (through-silicon vias, TSV) для освобождения площади чипа под большее количество ячеек памяти, обеспечивает каждый чип собственным интерфейсом ввода-вывода (I/O) на нижнем ребре и прокладывает каналы жидкостного охлаждения между соседними чипами. В симуляциях по сравнению с системой HBM4 равной емкости, система V-Die якобы достигла 540 токенов в секунду при рабочей нагрузке размером с GPT-3, по сравнению с 296 токенами в секунду для HBM4.
Японский проект MOSAIC использует схожую идею «бокового стекирования», но фокусируется на практической сложности подключения такого большого количества вертикальных чипов к GPU или подложке корпуса. Представленная исследователями Токийского университета, работа MOSAIC использует ортогональное стекирование чипов и бесконтактный интерфейс «чип-чип», в котором данные передаются через крошечные индуктивные катушки, вместо того чтобы требовать идеального совмещения каждой контактной площадки с физическим контактом. Исследователи утверждают, что прототип интерфейса достиг скорости до 4 Гбит/с на канал, а структура памяти может удвоить емкость класса HBM4 в конфигурации DRAM-on-GPU.
Оба проекта направлены на решение растущей проблемы, заключающейся в том, что ИИ-чипы сдерживаются памятью. Современные ускорители могут выполнять огромные объемы вычислений, но большие, мощные модели зависят от перемещения огромных объемов данных между памятью и вычислительными блоками. Именно поэтому HBM стала одной из определяющих технологий современного ИИ-оборудования.
Эта технология решает проблему «стены памяти», вертикально располагая несколько чипов DRAM на базовом чипе и размещая эту сборку очень близко к процессору. Например, Nvidia Blackwell Ultra B300 оснащена до 288 ГБ памяти HBM3E, без которой большая часть кремния простаивала бы в ожидании данных. Чипы соединены сквозными кремниевыми соединениями (TSV) — крошечными вертикальными каналами, протравленными в кремнии и заполненными металлом.
Затем сборка взаимодействует с GPU через чрезвычайно широкий интерфейс, часто проложенный через кремниевый интерпозер или продвинутый корпус. Это основная причина, по которой HBM может обеспечивать пропускную способность в терабайты в секунду: она использует очень широкий и очень короткий путь передачи данных вместо того, чтобы направлять трафик памяти через материнскую плату, как в случае с традиционными DIMM (Dual In-line Memory Modules), физическими планками ОЗУ, используемыми в компьютерах.
Однако такая же структура создает ряд проблем. Хотя более высокие сборки увеличивают емкость, они также затрудняют отвод тепла. Тепло, выделяемое нижними чипами и на высокоскоростном интерфейсе, должно проходить через слои кремния, связующих материалов, подложки и упаковочных структур, прежде чем достигнет теплораспределителя. Кроме того, TSV занимают площадь чипа, которая могла бы быть использована для ячеек памяти, а по мере увеличения пропускной способности большее количество маршрутизации и I/O создает дополнительное давление как на целостность сигналов, так и на стоимость упаковки.
HBM4, последнее поколение HBM, решает ряд этих проблем. Тем временем такие компании, как SK hynix, Samsung и Micron, соревнуются в повышении скорости, емкости, производительности базового чипа и теплового управления. SK hynix уже продемонстрировала iHBM, которая встраивает элементы охлаждения в область интерфейса HBM, а Samsung продемонстрировала макет HBM5 с охлаждением Heat Path Block для более прямого отвода тепла от сборки. Однако все они сохраняют ту же структуру вертикального стекирования.
Именно эту конвенцию бросают вызов V-Die и MOSAIC. Размещая чипы DRAM вертикально, исследователи подвергают гораздо большую площадь кремниевой поверхности пути охлаждения. Теоретически, это превращает сборку памяти во что-то более похожее на массив ребер радиатора, где тепло может перемещаться вбок и выходить более непосредственно, вместо того чтобы задерживаться в середине толстой вертикальной стопки. Это также открывает двери для новых схем подключения вдоль нижней или боковой стороны каждого чипа, вместо того чтобы заставлять каждый чип взаимодействовать через TSV, проходящие вертикально через сборку.
Для V-Die ключевым изменением является удаление TSV из чипов памяти и их замена соединениями на нижнем ребре. Каждый чип DRAM получает собственный I/O вдоль нижнего края и подключается непосредственно к подложке, причем соединения, по сообщениям, расположены каждые 20 микрон. Команда утверждает, что такая компоновка обеспечивает в четыре раза больше соединений, чем HBM4, и сокращает время чтения памяти на 37%, хотя некоторые сигналы должны проходить дальше по корпусу, чтобы достичь процессора.
Охлаждение — вторая половина аргумента V-Die. Предложение предусматривает размещение микрофлюидных каналов охлаждения между соседними вертикальными чипами DRAM, позволяя охлаждающей жидкости рассеивать тепло ближе к его источнику. По словам исследователей, это может поддерживать температуру сборки около 45°C, что намного ниже диапазона 80°C и выше, связанного с плотными системами HBM. В смоделированной сборке из 16 чипов, соответствующей оборудованию класса H100 на модели масштаба GPT-3, V-Die достигла 540 токенов в секунду по сравнению с 296 у HBM4 и сократила задержку первого токена на 32%, или примерно на 24 миллисекунды.
MOSAIC, тем временем, сосредоточен на обеспечении возможности производства бокового стекирования. Поскольку чипы собираются в плоском виде, а затем поворачиваются на ребро, даже несколько микрон вариации толщины чипа по десяткам чипов могут привести к несовпадению выравнивания, когда контактные площадки больше не совпадают. Решением японской команды является бесконтактный интерфейс на основе индуктивной связи. Одна сторона чипа памяти несет продолговатые катушки, а соответствующий набор катушек расположен на подложке или соединяемом чипе. Ток в одной катушке индуцирует сигнал в другой, позволяя данным пересекать небольшой зазор без прямого металл-по-металлу контакта сигнала. Это устраняет необходимость точного совмещения, давая корпусу большую устойчивость к вариациям при сборке. Питание, требующее меньшего количества более крупных соединений, чем данные, по-прежнему может подаваться через физические контакты на боковых сторонах куба памяти.
Прототип VLSI MOSAIC достиг скорости до 4 Гбит/с на канал и продемонстрировал 3D-интеграцию без TSV для компоновки «память на GPU». Команда утверждает, что этот подход может обеспечить удвоенную емкость памяти по сравнению с HBM4 без существенного увеличения пиковой температуры. Связанная демонстрация аппаратного обеспечения bump-MOSAIC на ECTC использовала микровыступы с шагом 100 микрон, достигла выравнивания стекирования в пределах 6 микрон, подтвержденного рентгеновской КТ, и показала конфигурацию с троекратной теплопроводностью по сравнению с традиционным стекированием при увеличении емкости памяти до 30%.
Хотя результаты выглядят многообещающими, ни V-Die, ни MOSAIC не близки к замене коммерческих HBM. Ни один из них не готов к выпуску. V-Die — это все еще предлагаемая архитектура, с прототипом в разработке для проверки ее тепловых и электрических характеристик; MOSAIC имеет аппаратное обеспечение, подтверждающее принцип работы, но исследователям еще предстоит показать, что оно масштабируется до коммерческой емкости DRAM, выхода, стоимости и надежности.
Тем не менее, любое жизнеспособное решение многогранной проблемы ИИ-памяти является долгожданным событием. Z-Angle Memory (ZAM) от SoftBank и Intel и 3D X-DRAM от NEO Semiconductor — оба все еще находятся в разработке — нацелены на решение ограничений традиционной памяти. Тем временем общий рынок уже ощущает давление на цены и доступность, даже несмотря на то, что производители памяти перенаправляют мощности на более прибыльные ИИ HBM и серверные продукты, что еще больше повышает цены на потребительскую ОЗУ.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Etiido Uko
