Поскольку ускорители ИИ сталкиваются с серьёзным разрывом в производительности между High Bandwidth Memory (HBM) и SSD, компании SK hynix и SanDisk совместно представили решение, направленное на устранение этого разрыва с помощью нового стандарта под названием High Bandwidth Flash (HBF). Оба производителя памяти стремятся создать экосистему, в которой различные предприятия смогут разрабатывать совместимые продукты.
Спецификации HBF позволяют достичь до 512 ГБ в одной конфигурации, объединяющей кристаллы NAND в восемь или 16 слоёв
По сути, HBF обладает характеристиками, которые позволяют разместить его между HBM и корпоративными SSD. Как и HBM, HBF использует несколько объединённых в стопку кристаллов памяти, но вместо DRAM применяет NAND-флеш для увеличения ёмкости хранения. Его основная роль будет заключаться в дополнении ограничений по ёмкости, а не в полной замене HBM. Большие языковые модели (LLM) могут обрабатываться через HBM, который требуется немедленно для вычислений, в то время как HBF хранит данные в большем объёме.
Последние спецификации SK hynix и SanDisk позволяют HBF достигать до 512 ГБ с пропускной способностью от 0,4 ТБ/с до 3 ТБ/с. Чтобы понять, как эта технология повысит производительность логического вывода ИИ, предположим, что существует модель ИИ с 500 миллиардами параметров, и если каждый гигабайт может вместить миллиард параметров, то это составит 500 ГБ. Поскольку хранить всю модель в HBM нецелесообразно с точки зрения затрат, компании могут использовать HBF для хранения таких моделей ИИ.
High Bandwidth Flash также поддерживает спецификацию UCIe (Universal Chiplet Interconnect Express), что позволяет HBF подключаться к различным CPU и GPU, создавая целый уровень гибкости. Ким Чхун Сон, руководитель отдела разработки решений в SK hynix, заявил, что компания «расширит границы между памятью и хранилищем и внесёт вклад в создание новых архитектур, повышающих общую эффективность системы».
Пока SK hynix и SanDisk прилагают усилия для популяризации стандарта HBF, Samsung уже налаживает прочные отношения с такими компаниями, как NVIDIA, разрабатывая и массово производя решения CMX. Благодаря производству V10 и V11 NAND flash, которые могут достигать до 500 слоёв, корейский гигант нацелится на сверхбыстрые требования к хранилищам для ИИ-серверов, желающих быстро получать доступ к данным для увеличения выгрузки GPU, что приведёт к лучшему логическому выводу ИИ.
Какой стандарт наберёт обороты? Похоже, мы узнаем это в ближайшие месяцы.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Omar Sohail
