Специализированный ИИ-ускоритель AMD Instinct MI450 для Meta* будет использовать в три раза меньше памяти, чем полноценный Instinct MI455X, и будет оптимизирован в первую очередь для рекомендательных систем, используемых Facebook* и другими социальными платформами, согласно SemiAnalysis. Если отчёт точен, разумно ожидать, что Meta* продолжит использовать оборудование Nvidia для обучения передовых ИИ-моделей и выполнения инференса.
Специализированный Instinct MI455X для Meta* будет нести 144 ГБ памяти HBM4 с использованием шести 8-Hi-пакетов, тогда как полноценный Instinct MI455X будет оснащён 432 ГБ памяти HBM4, сообщает SemiAnalysis. Кроме того, сообщается, что данная версия будет иметь «значительное снижение вычислительной мощности». Новая конструкция предложит более конкурентоспособное соотношение пропускной способности к доллару для рекомендательных систем, но не будет оптимизирована для обучения передовых ИИ-моделей или выполнения инференса, утверждается в отчёте.
Снижение производительности вычислений и уменьшение объёма HBM4 с 432 ГБ до 144 ГБ должно значительно сократить стоимость материалов, поскольку HBM4 исключительно дорога. Более того, такое уменьшение сократит размер корпуса специализированного ускорителя Instinct MI450 для Meta*, что является ещё одним способом снижения затрат на материалы. Используя специализированные урезанные ускорители Instinct MI450 вместо полноценных моделей, Meta* может потенциально сэкономить десятки миллионов долларов.
В качестве дополнительных преимуществ эти специализированные ускорители Instinct MI450 будут потреблять значительно меньше энергии при выполнении рекомендательных задач без существенного снижения производительности. Кроме того, такие ускорители могут обеспечить лучший баланс CPU/GPU для рекомендательных систем, согласно SemiAnalysis. Если Meta* будет использовать эти ускорители преимущественно для рекомендательных задач в течение всего срока их службы, специализированная конструкция может обеспечить значительно лучшую совокупную стоимость владения.
Однако такое урезание имеет множество недостатков. Самая большая проблема — потеря универсальности. Снижение как вычислительной мощности, так и объёма HBM делает его менее привлекательным для обучения и инференса больших языковых моделей (LLM). Стандартный Instinct MI455X имеет 432 ГБ HBM4 и пропускную способность 19,6 ТБ/с, что особенно полезно для крупномасштабного обучения и инференса. Напротив, ёмкость в 144 ГБ может быть особенно ограничивающей для современного обучения и инференса LLM.
Кроме того, существует также проблема взаимозаменяемости. Универсальный Instinct MI455X можно переназначить с рекомендательных задач на обучение, инференс или другие рабочие нагрузки. Специализированная версия Meta* менее привлекательна вне своей целевой нагрузки. Если спрос Meta* на вычисления сместится в сторону обучения моделей и инференса LLM, компания может оказаться с огромной установленной базой ускорителей, оптимизированных под другой набор задач.
В результате для задач обучения и инференса моделей Meta* альтернативой урезанному специализированному MI400 от Meta*, скорее всего, станут полноценные системы AMD Instinct MI455X или высокопроизводительные платформы Nvidia. Между тем у Nvidia есть шансы стать очевидным бенефициаром, поскольку Meta* уже эксплуатирует огромную инфраструктуру Nvidia. Ирония в том, что Meta* настроила ускоритель AMD для снижения затрат и оптимизации рекомендательных систем, но эта специализация может вынудить её подразделение передового ИИ покупать более универсальные ускорители — возможно, от Nvidia.
Когда AMD и Meta* заключили соглашение, по которому первая поставит второй 6 ГВт ИИ-ускорителей Instinct в течение следующих пяти лет, они действительно раскрыли, что по крайней мере некоторые из них будут специализированными ускорителями, в том числе на базе конструкции Instinct MI450. Как теперь представляется, эти специализированные ИИ-ускорители будут использоваться только для отдельных задач, а не для широкого спектра рабочих нагрузок.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anton Shilov
