Новое предложение AMD: до 99 % производительности при половинном объеме DRAM, при условии, что вы приобретете лицензию Mext вместе с вашим новеньким сервером Epyc.
Это стало возможным благодаря использованию ИИ-моделей для загрузки страниц памяти в более дешевое NVMe-хранилище и обратно еще до того, как операционная система или приложения узнают о необходимости их использования — своего рода SWAP или файл подкачки Windows, но умнее.
AMD приобрела эту технологию у Mext в июне, и, по словам бывшего генерального директора Гэри Смердона, ныне вице-президента по развитию бизнеса в AMD, эта технология может снизить затраты на корпоративные серверы до 83 %, заменяя дорогостоящие RDIMM флэш-хранилищем. Из первых 145 систем, на которых уже развернуто программное обеспечение, он оценивает экономию клиентов на стоимости DRAM в 5 миллионов долларов.
«Скромно говоря, 60, 70, даже 80 или 90 % стоимости сервера, особенно для систем с очень большим объемом памяти, может приходиться на память», — пояснил он.
На помощь приходит любимое модное словечко всех
Даже в системах с высокой утилизацией памяти, где, скажем, 95 % памяти «используется», большая ее часть активно не задействуется, пояснил он. Он сослался на исследование *Meta, которое показало, что от 50 до 80 % страниц памяти не затрагивались в течение пяти, десяти минут или даже дольше. «Пять минут для Epyc — это вечность».
Технология Mext призвана выгружать эти редко используемые страницы на флэш-накопитель. Проблема, объясняет Смердон, заключается в том, что хотя флэш-память примерно в 50 раз дешевле за бит и потребляет в 30 раз меньше энергии за бит, она также в 500 раз медленнее.
Именно поэтому большинство людей при развертывании VPC или серверов обычно избегают подкачки на диск, где это возможно: это убивает производительность приложений и ставит под угрозу соглашения об уровне обслуживания.
Таким образом, чтобы технология Mext работала, необходимо было гарантировать, что любые страницы, выгруженные в хранилище, вернутся в DRAM до того, как они понадобятся. Это похоже на выполнение поручения посреди рабочего дня — пока вы вернетесь до того, как понадобитесь своему начальнику снова, он никогда не узнает, что вы покинули свое рабочее место.
Проблема заключалась в том, что «R» в DRAM означает «случайный». Предсказать, какие страницы системе понадобятся в определенное время, не так уж просто. Решение? (Приготовьтесь.)
«Мы поняли, что можем использовать ИИ для мониторинга системы и проактивной загрузки этих страниц обратно в DRAM, так что, насколько это было известно приложению или операционной системе, они были там все время», — сказал Смердон. Другими словами: «Мы прозрачно делаем так, чтобы флэш-память выглядела как DRAM».
Таким образом, «вместо того чтобы покупать два терабайта DRAM для вашего сервера на базе Epyc, вы можете купить один терабайт DRAM, а второй терабайт будет предоставлен Mext».
Для этого AMD Mext использует ряд алгоритмов машинного обучения.
«Основная модель — это производная от трансформера, как и ChatGPT, Claude или другие известные модели, но вместо того, чтобы предсказывать, например, в случае текста, следующее слово, мы предсказываем, какая страница памяти потребуется следующей», — пояснил Смердон. Пока страницы находятся в DRAM до того, как они понадобятся, им даже не нужно быть в правильном порядке, добавил он.
Обучение моделей для точного прогнозирования шаблонов доступа к памяти представляет собой отдельную задачу, что, по словам Смердона, делает предварительное обучение моделей непрактичным.
Вместо этого они используют одно ядро Epyc и обучают модель «менее чем за одну секунду», пояснил он. С этого момента модель постоянно совершенствуется и переобучается до тех пор, пока не сможет точно предсказывать, где и когда потребуются страницы.
Все это обучение, подчеркивает он, происходит на ядре ЦП — GPU не требуется, что означает, что практически любой клиент Epyc может воспользоваться программной платформой.
Хотя GPU может и не требоваться, стоит отметить, что в виртуализированных средах программное обеспечение требует одно ядро на ВМ или VPC, поэтому накладные расходы растут вместе с виртуализацией. Контейнерные среды, предположительно, не страдают от этого ограничения. Мы обратились к AMD за разъяснениями.
99 % производительности, половина DRAM
По данным AMD, технология действительно работает. Изначально, по словам Смердона, компания ориентировалась на требовательные к памяти приложения, такие как электронное проектирование (EDA) и создание контента, но позже расширилась для поддержки приложений, чувствительных к задержкам, таких как базы данных и конвейеры агентного ИИ.
«Когда страницы памяти холодные, мы можем выгрузить их на флэш-накопитель, и это буквально не влияет на производительность», — сказал он.
Смердон здесь немного преувеличивает. В зависимости от приложения и объема памяти, выгруженного на флэш-накопитель, наблюдается снижение производительности.
По результатам тестов пакета EDA Synopsys PrimeTime, утверждает он, половина памяти может быть выгружена на флэш-накопитель с использованием Mext, и система по-прежнему достигает 95 % производительности DRAM. При 25 % DRAM и 75 % флэш-памяти производительность упала до 80 % от базовой линии только с DRAM по результатам тестов AMD.
Инструменты EDA очень требовательны к памяти, но объем данных, над которыми ядра работают в любой момент времени, часто измеряется в мегабайтах. Вот почему процессоры AMD Epyc X остаются такими популярными среди клиентов EDA и почему Mext изначально ориентировался на них.
В других сценариях, таких как Apache Spark, команда AMD Mext сообщает о достижении 99 % производительности даже после замены половины DRAM в системе флэш-памятью.
Хотя внедрение этой технологии может привести к некоторой потере производительности, AMD делает ставку на то, что клиенты будут готовы пойти на этот компромисс в обмен на существенную экономию на DRAM, поскольку память остается дефицитной из-за наращивания дата-центров для ИИ.
В настоящее время AMD работает над интеграцией Mext в свой более широкий портфель корпоративных решений. По нашим данным, программное обеспечение будет эксклюзивным для оборудования AMD и будет предлагаться в виде лицензии, продаваемой через OEM-партнеров.
Системы под управлением Linux требуют только драйвера ядра для использования программного обеспечения, в то время как отдельное приложение RAM View предлагается для помощи предприятиям в понимании того, на каких системах и рабочих нагрузках его следует активировать.
Разработчик чипов заявляет, что в настоящее время находится на первой фазе развертывания Mext, что означает работу с OEM-производителями, такими как HPE, для обеспечения готовности систем к работе с Mext. На втором этапе компания планирует начать продажу лицензий на программное обеспечение и поставку платформ Epyc с предустановленным RAM View.®
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann
