Пристегнитесь: текущее узкое место, связанное с памятью и HBM, вот-вот существенно разгрузится благодаря инициативе SanDisk по разработке High-Bandwidth Flash (HBF) совместно с SK hynix, что в конечном итоге должно привести к разделению задач, которые сейчас выполняются исключительно силами HBM.
HBF может обеспечить пропускную способность чтения на порядки выше, чем JEDEC HBM4, но проигрывает по ресурсу записи
Прежде чем обсуждать стандарт HBF, давайте сначала разберем проблему «стены памяти», которая часто всплывает в контексте HBM.
HBM и проблема «стены памяти»
ИИ-модель со 100 миллиардами параметров, работающая на уровне вычислений fp16 — то есть 2 байта на параметр, — требует 200 ГБ (100×10⁹x2) HBM только для хранения весов модели.
Для тех, кто, возможно, не в курсе: веса указывают модели, насколько важным следует считать то или иное понятие или последовательность слов. По сути, это совокупность всех сохраненных знаний модели. Как правило, чем больше модель, тем больше весов ей требуется хранить.
Но это еще не все. Представьте сценарий: вы пишете рассказ, но у вас ужасная кратковременная память. Каждый раз, когда вы пишете новое слово, вы вынуждены перечитывать все написанное ранее, просто чтобы вспомнить, что уже зафиксировано на бумаге. Очевидно, что с ростом объема текста этот трудоемкий процесс тоже усложняется.
Key-Value или KV cache — это аналог заметок на отдельном листе, позволяющий всегда быть в курсе того, что уже написано. Это ускоряет весь процесс на порядки. Тем не менее с ростом контекста растет и KV cache, который обычно хранится в HBM, учитывая скорость и частоту, с которыми модели необходимо к нему обращаться.
Теперь самое сложное. Стеки HBM4 припаяны рядом с GPU и оснащены ограниченной пропускной способностью памяти. Например, стандартный 12-Hi стек HBM4 вмещает 36 ГБ данных, а его 16-Hi версия может увеличить этот объем до 48 ГБ.
Таким образом, HBM хранит не только веса модели, но и KV cache. А чтобы увеличить объем HBM, как правило, приходится наращивать количество GPU, что очень быстро может стать весьма дорогим.
Теперь добавьте в это уравнение HBF
Как мы уже подробно рассказывали сегодня, SanDisk совместно с SK hynix разрабатывает стандарт HBF, который предлагает 512 ГБ памяти и пропускную способность от 0,4 ТБ/с до 3 ТБ/с.
По сути, точно так же, как HBM укладывает слои DRAM, HBF укладывает кристаллы NAND друг на друга, соединяя их сквозными кремниевыми переходами (Through Silicon Vias, TSVs), а к этому массиву NAND присоединен управляющий логический кристалл.
Однако проблема использования ячеек NAND в том, что их скорости черепашьи. SRAM обеспечивает скорость чтения всего около наносекунды, тогда как у DRAM это ~100 наносекунд, а у NAND — целых ~100 микросекунд. Это означает, что NAND обеспечивает скорость чтения в 1000 раз медленнее, чем HBM на основе DRAM.
Однако HBF использует мощь параллелизма, чтобы на порядки увеличить пропускную способность. По сути, логический кристалл организует тысячи параллельных операций чтения ячеек NAND одновременно. Поэтому, хотя каждое отдельное чтение конкретной ячейки NAND примерно в 1000 раз медленнее, тысячи параллельных чтений могут обеспечить совокупную пропускную способность от 0,3 ТБ/с до 3 ТБ/с против всего лишь около 6,4 ГБ/с у HBM4 по спецификации JEDEC.
Тем не менее HBF не способен устранить ужасающую скорость записи NAND и сопутствующий низкий ресурс перезаписи. Это означает, что KV cache по-прежнему придется хранить в HBM, поскольку он требует частой записи. Однако веса модели могут переехать на HBF.
И последнее: обратите внимание, что массивы HBF вряд ли будут дешевыми на уровне SSD, особенно потому, что они по-прежнему требуют сложной упаковки, которая сама по себе является дорогостоящим процессом. Тем не менее они могут быть значительно дешевле HBM, что должно обеспечить существенный эффект масштаба. Кроме того, высвобождение HBM для KV cache означает, что контекст модели может стать длиннее без ущерба для точности выходных данных, что добавляет еще одно существенное преимущество этой новой парадигме.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rohail Saleem
