На мероприятии AMD Advancing AI на этой неделе компания раскрыла дополнительные подробности о своем будущем GPU MI455X и архитектуре масштаба стойки Helios, которая объединит 72 таких GPU в единый ускоритель — крупнейшую подобную систему, когда-либо построенную AMD, и ее первую, способную по-настоящему конкурировать с дизайном Nvidia NVL72, используемым в поколениях Blackwell и Rubin.
AMD называет MI455X «безусловно самым продвинутым AI-ускорителем, который мы когда-либо создавали», и, судя по увиденному, это самый конкурентоспособный продукт как на уровне чипа, так и на уровне стойки, который AMD когда-либо противопоставляла полному доминированию Nvidia в гонке AI-вычислений.
Полноценный GPU MI455X — это массивный чип, насчитывающий 320 миллиардов транзисторов, созданный с использованием передовых технологий упаковки. Четыре кристалла Accelerator Complex (XCD) размещаются поверх каждого кристалла Fabric and Cache (FCD) с помощью гибридного соединения. В свою очередь, два FCD подключены к шести стекам HBM4, двум кристаллам ввода-вывода и друг к другу с использованием технологии TSMC CoWoS-L.
Такая чиплетная конструкция позволяет AMD использовать самую передовую технологию TSMC 2N с затворами со всех сторон (GAA) на XCD, где она наиболее выгодна для энергопотребления и производительности, в то время как FCD и кристаллы ввода-вывода, содержащие элементы, не выигрывающие от самых плотных техпроцессов, изготавливаются на TSMC N3P.
CDNA 5 знаменует собой серьёзный сдвиг в форме архитектуры CDNA. AMD теперь называет базовый строительный блок кристалла Accelerator Complex в CDNA 5 «Work Group Processor» вместо «Compute Unit», но на практике базовая компоновка остальной части кристалла Accelerated Complex (XCD) в значительной степени схожа.
Количество WGP на MI455X остаётся таким же, как на MI355X — 256. Поскольку количество базовых вычислительных ресурсов на чипе не изменилось, пропускная способность на один WGP на CDNA 5 MI455X должна быть значительно выше, чем на MI355X, чтобы обеспечить значительный прирост производительности.
Среди многих других изменений в этом поколении CDNA 5 знаменует собой серьёзный сдвиг в модели программирования GPU Instinct. Ширина волнового фронта, или группы элементов работы или потоков, с которыми работает каждый процессор рабочей группы, теперь составляет 32 вместо 64 — выбор, который, по словам AMD, улучшает задержки инструкций, штрафы за расхождение ветвлений и давление на регистры. Далее поясняется, что подход с шириной 32 увеличивает гибкость архитектуры для взаимодействия с различными размерами тензорных тайлов и отображения вычислительных ядер на оборудование. GPU RDNA с самого начала использовали собственный размер волнового фронта 32.
CDNA 5 значительно повышает вычислительную производительность по сравнению с CDNA 4, теоретически удваивая, а в некоторых случаях и учетверяя пиковые FLOPS, возможные на чипе. MI455X особенно выигрывает от форматов с плавающей запятой пониженной точности, которые сейчас широко используются в инференсе. Форматы OCP MXFP8 и MXFP4 теоретически до 4 раз быстрее, чем на CDNA 4 MI355X.
Вот обзор теоретических пиковых FLOPS MI455X по сравнению с MI355X предыдущего поколения и GPU Nvidia Rubin.
По крайней мере на бумаге, MI455X предлагает пиковую производительность, превосходящую то, что Nvidia показывала для Rubin, и в сочетании с архитектурой масштаба стойки Helios, которая наконец даёт AMD ту же когерентную область из 72 GPU, что и дизайн Nvidia NVL72, AMD становится более конкурентоспособной в гонке мощностей AI-центров обработки данных, чем когда-либо. И это приводит к реальным победам среди клиентов: на этой неделе AMD объявила о ключевых сделках с Microsoft и Anthropic.
Но мы бы остереглись делать слишком много выводов из этих прямых сравнений пиковых FLOPS, поскольку реальная производительность этих GPU на практике, вероятно, будет значительно ниже, как признала сама AMD на одной из наших сессий. Постоянной задачей остаётся оптимизация программного обеспечения и приложений, чтобы достичь как можно большей части этой теоретической производительности.
Помимо общих улучшений вычислений, AMD также хвастается улучшенной производительностью трансцендентной математики в блоке Transcendental Unit CDNA 5, что имеет широкие последствия для производительности важнейших AI-функций, таких как softmax, активации нейронных сетей и внимание. AMD утверждает, что Transcendental Unit в CDNA 5 удваивает пропускную способность по сравнению с CDNA 4. Transcendental Unit также добавляет поддержку явной инструкции tanh, которая полезна для определённых операций над скрытыми слоями нейронных сетей.
AMD также глубоко переработала иерархию кэша и памяти на MI455X. Большой Infinity Cache в CDNA 4 был заменён на меньший, но с более высокой пропускной способностью общий кэш L2 на каждом Fabric Compute Die. Каждый FCD имеет срез L2 объёмом 96 МБ, что в сумме составляет 192 МБ по сравнению с всего 32 МБ, подкреплёнными 256 МБ Infinity Cache на MI355X. AMD утверждает, что этот кэш обеспечивает в 1,5 раза более высокую пропускную способность на FCD по сравнению с Infinity Cache в CDNA 4, так что в совокупности MI455X имеет в 3 раза большую пропускную способность L2 по сравнению с MI355X.
Внутри WGP теперь доступны более крупные, быстрые и гибкие кэши. Локальное хранилище данных (LDS) или scratchpad-память увеличилась в два раза по сравнению с CDNA 4, до 320 КБ, а в сумме по всему чипу — 96 МБ LDS, что вдвое больше, чем в самой крупной реализации CDNA 4 на MI355X. AMD утверждает, что SRAM LDS обеспечивает более высокую пропускную способность чтения и записи за такт по сравнению с предыдущим поколением, но не привела конкретных данных.
Критически важно, что основная архитектура памяти MI455X перешла на HBM4 в этом поколении. AMD использует шесть стеков HBM4 на каждый FCD, всего 12 на чипе, что обеспечивает ёмкость памяти 432 ГБ и пропускную способность памяти 23,3 ТБ/с на GPU. Высокая ёмкость и пропускная способность памяти имеют решающее значение для того, чтобы постоянно растущие веса AI-моделей и KV-кэши находились как можно ближе к GPU для достижения наилучшей производительности.
Эта реализация HBM является одним из самых сильных преимуществ MI455X перед Nvidia Rubin по отдельности. Он предлагает как гораздо большую ёмкость, так и немного более высокую пропускную способность по сравнению с первым GPU Rubin, который Nvidia подробно описала на этой неделе. В начальной конфигурации Rubin предлагает только 288 ГБ HBM4 с пропускной способностью до 22 ТБ/с.
В масштабе стойки более высокая ёмкость HBM MI455X составляет 31,1 ТБ HBM на 72 GPU, что на целых 50% больше, чем совокупная ёмкость 20,7 ТБ у Vera Rubin. И архитектура масштаба стойки Helios — первая у AMD, которая объединяет всю эту память GPU в единую когерентную область. Поскольку производительность AI-инференса определяется как локальностью данных, так и пропускной способностью памяти, преимущества AMD в этом отношении обязательно привлекут большое внимание.
Эффективное перемещение данных по чипу является ключевым фактором снижения энергопотребления и повышения производительности на MI455X.
Tensor Data Mover в CDNA 5 — это улучшенная версия механизма перемещения данных в предыдущих поколениях CDNA. Как и Tensor Memory Accelerator от Nvidia, TDM ускоряет генерацию определённых тензорно-специфичных адресов памяти и облегчает перемещение соответствующих данных из памяти без участия шейдерных движков. В поколении CDNA 5 TDM получает возможность перемещать данные напрямую из DRAM в кэш LDS WGP без промежуточного кэширования на других уровнях.
AMD также добавила поддержку многоадресной рассылки для чтения памяти в WGP, чтобы использовать тот факт, что AI-нагрузки часто требуют работы с одними и теми же весами и активациями одновременно на нескольких WGP. Используя многоадресную рассылку, одно чтение памяти может быть распространено на множество WGP, увеличивая эффективную пропускную способность памяти, уменьшая дублированный трафик на шине и снижая энергопотребление. Nvidia имеет аналогичную возможность в своих GPU, начиная с Hopper, но учитывая интенсивное внимание AMD к эффективному перемещению данных в этом поколении, неудивительно увидеть здесь добавленную версию этого.
В целом, MI455X — это самый убедительный продукт Instinct от AMD на сегодняшний день. Он обеспечивает огромный прирост производительности поколения, показывает на бумаге пиковые FLOPS, конкурентоспособные или даже превосходящие будущий GPU Nvidia Rubin, и предлагает огромный пул памяти HBM4 объёмом 432 ГБ, который в 1,5 раза больше и даже немного быстрее, чем 288 ГБ у Rubin.
В сочетании с архитектурой масштаба стойки Helios и её доменом масштабирования на 72 ускорителя — первым настоящим ответом AMD на дизайн Nvidia NVL72 — следует ожидать, что гонка за превосходство в AI-вычислениях действительно накалится во второй половине этого года, когда и Nvidia, и AMD начнут поставлять свои продукты следующего поколения клиентам.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jeffrey Kampman
