Цены на память DDR5 в эти дни бьют новые рекорды, поскольку спрос значительно превышает предложение. Стремясь сэкономить, Meta* извлекает устаревшую память DDR4 из бывших в употреблении серверов и устанавливает ее в новые машины с помощью собственной разработки — Vistara ASIC, которая позволяет подключать старые модули памяти к новейшим серверам на базе процессоров AMD EPYC ‘Turin’, поддерживающих только память DDR5. Интересно, что Meta* — не единственная компания, разрабатывающая подобное решение. Панамнезия (Panmnesia), стартап из Южной Кореи, разработала готовый контроллер и коммутатор CXL, который позволяет серверам подключать значительно большие пулы памяти без увеличения задержки, что отличает решение Panmnesia от конкурирующих предложений CXL.
Vistara — это ASIC-расширитель памяти CXL первого поколения от Meta*, предназначенный для подключения устаревшей памяти DDR4 к современным серверам. Этот чип реализует расширитель памяти CXL 2.0 Типа 3 через интерфейс PCIe 5.0 x16 и обеспечивает мост между стандартными DDR4 RDIMM и центральными процессорами. Каждый ASIC поддерживает два независимых 72-битных канала памяти DDR4 и может предоставить до 256 ГБ емкости при использовании модулей DIMM на 64 ГБ. В настоящее время Meta* использует 128 ГБ на ASIC с модулями DDR4 на 32 ГБ, извлеченными из выведенных из эксплуатации серверов.
Meta* развертывает Vistara на своей платформе MemServer, где два ASIC подключаются к одному 158-ядерному процессору AMD Turin через соединения PCIe 5.0 x8. Каждый сервер сочетает 768 ГБ локальной памяти DDR5-6400 с 256 ГБ памяти DDR4-2400, подключенной через CXL, что расширяет емкость памяти до 1 ТБ. Программный стек прозрачно предоставляет память CXL как отдельный узел NUMA и позволяет Linux мигрировать холодные страницы на более медленный уровень DDR4 (с пропускной способностью 76 ГБ/с) и сохранять часто используемые данные в локальной DDR5 (с пропускной способностью 614 ГБ/с).
ASIC основан на трех процессорных ядрах RISC-V для безопасной загрузки, инициализации устройств, управления прошивкой и мониторинга состояния. Meta* заявляет, что оптимизировала свой контроллер CXL и конвейер памяти для снижения накладных расходов протокола, минимизации задержек в очереди и уменьшения задержки обратного пути в режиме простоя примерно до 50 нс. Чип также включает расширенные функции надежности, в том числе коррекцию ошибок Рида-Соломона с двумя символами и поддержку x4 chip-kill.
Meta* — не единственная компания, желающая подключать устаревшую память DDR4 к более новым серверам, использующим DDR5, и экономить средства. В то время как Vistara доступен исключительно для Meta*, существует новое решение-расширитель CXL от Panmnesia, которое будет доступно другим компаниям.
«Существовало мнение, что размещение коммутатора между ЦП и устройствами затрудняет достижение задержки доступа к памяти, которую ожидают эти системы, поэтому устройства с прямым подключением с несколькими головками (MHD) оставались нормой, хотя их было сложнее масштабировать», — сказал Мёнсу Чон (Myoungsoo Jung), генеральный директор Panmnesia. «Наша работа показывает, что это не присущее ограничение CXL или коммутаторов CXL — это особенность CXL на ранней стадии, которая исчезает по мере созревания стандарта и сопутствующих продуктов. С помощью коммутатора с фабричной топологией, несущего наш контроллер CXL следующего этапа, масштабируемость, низкая задержка и стабильная производительность могут сочетаться».
CXL — это протокол, работающий поверх физического интерфейса PCIe. В результате многие ранние реализации CXL были созданы путем модификации существующего IP-ядра PCIe, поэтому такие реализации унаследовали архитектурные характеристики, оптимизированные для PCIe, а не для коммуникаций с семантикой памяти, что добавляло существенную задержку, по данным Panmnesia. Напротив, их новое IP-ядро контроллера CXL имеет переработанный путь данных, который заменяет отдельные буферы на каждом уровне общими буферами для устранения большей части накладных расходов на синхронизацию. Кроме того, оно включает дополнительные оптимизации задержки по всему стеку протокола, чтобы компенсировать дополнительный скачок, вносимый коммутатором.
Сопутствующий коммутатор с фабричной топологией CXL вводит маршрутизацию на основе портов (Port-Based Routing, PBR), которая устраняет ограничения древовидной топологии обычной иерархической маршрутизации (Hierarchy-Based Routing, HBR), используемой в PCIe и ранних реализациях CXL. Коммутатор с фабричной топологией по-прежнему поддерживает как PBR, так и HBR для обеспечения гибких топологий системы, оптимизированной маршрутизации трафика и стабильной производительности. На практике это позволяет таким компаниям, как Meta*, устанавливать больше памяти DDR4 в свои современные серверы без существенной деградации производительности из-за высокой задержки.
Panmnesia заявляет, что, хотя ранние развертывания CXL могли подключать лишь небольшое количество вычислительных узлов к общим пулам памяти, их фабрика масштабируется до 64 узлов, что означает большую гибкость для гиперскейлеров, которые обычно управляют тысячами серверов, но теперь вынуждены рационализировать использование дорогой DRAM.
Panmnesia сообщает, что их технологии CXL следующего поколения приближаются к коммерциализации. У компании есть предсерийные кремниевые образцы для их Fusion Switch PCIe 6.4/CXL 3.2 и завершена разработка их Combo IP PCIe 7.0/CXL 4.0, который поддерживает новейшие функции, представленные спецификацией CXL 4.0.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anton Shilov
