Масштабы текущего наращивания производства платформы NVIDIA Vera Rubin таковы, что это уже проявляется, казалось бы, в мало связанных уголках цепочки поставок, например, на спотовом рынке TLC NAND.
Впрочем, ретроспективно рост спотовых цен на TLC вполне обоснован, особенно с учётом Context Memory eXtension (CMX), которую NVIDIA внедряет в платформу Vera Rubin.
Наращивание производства платформы NVIDIA Vera Rubin сжимает предложение TLC NAND, фиксируя всё большее количество ячеек NAND в CMX, а также параллельно масштабируя спрос на корпоративные SSD
Спотовая цена 512-гигабитной TLC NAND теперь достигла $21 после падения ниже этого уровня в июне. И этому новому инфляционному импульсу способствует ряд факторов.
Во-первых, для обработки KV cache — заметок, создаваемых слоями внимания модели ИИ при формировании связей между словами во входном запросе — NVIDIA внедряет Context Memory eXtension (CMX) в платформу Vera Rubin.
CMX создаёт промежуточный уровень хранения между HBM и традиционным серверным сетевым хранилищем, функционируя как огромный пул флеш-памяти TLC, подключённый к кластеру GPU Rubin через NVIDIA BlueField-4 DPU — которые действуют как «интеллектуальный мозг» сервера CMX для обработки KV cache в реальном времени — по сверхбыстрому Spectrum-X Ethernet.
Фактически, один сервер CMX форм-фактора 2U вмещает 600 ТБ флеш-памяти TLC, при этом каждый из четырёх DPU управляет 150 ТБ контекстной памяти, а ёмкость на уровне модуля достигает колоссальных 9 600 ТБ, или 9,6 ПБ!
Во-вторых, центрам обработки данных требуются высокоплотные высокопроизводительные корпоративные SSD (eSSD) для обработки рабочих нагрузок ИИ. И по мере наращивания производства Vera Rubin растёт и спрос на такие eSSD.
Разумеется, стоит отметить, что большая часть TLC NAND, которую сейчас потребляет NVIDIA, вероятно, заблокирована долгосрочными контрактами. Тем не менее, сам масштаб грядущего спроса уже ужесточает и спотовый рынок, и ещё предстоит увидеть, как далеко зайдёт эта тенденция.
Тем временем Bank of America только что охладил слухи о возможном снижении спецификаций HBM для Vera Rubin Ultra. Согласно этим упорным слухам, NVIDIA может уменьшить объём HBM4E в каждом GPU для сохранения маржи. Однако Bank of America считает, что любое потенциальное снижение спецификаций будет временной реакцией на краткосрочные ограничения, а не постоянным продуктом с меньшей ёмкостью.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rohail Saleem
