Распространение заказных AI-ASIC, или XPU, от OpenAI, Meta, Microsoft и других заставило многих усомниться в доминировании Nvidia на рынке. Ведь если все создают собственные чипы, кому нужны GPU, на которых этот «оружейный барон ИИ» заработал состояние?
Но Nvidia это нисколько не беспокоит — напротив, компания приглашает конкурентов грабить (точнее, лицензировать) свои наработки в области интеллектуальной собственности, особенно связанные с сетевыми технологиями.
В понедельник MediaTek стала последней компанией, принявшей высокоскоростную технологию межсоединений NVLink Fusion от Nvidia для своего нового дата-центрового XPU. Взамен Nvidia инвестировала 3,5 миллиарда долларов в конвертируемые облигации, выпущенные MediaTek. Гигант GPU также продолжит лицензировать собственные разработки тайваньского поставщика SoC для использования в будущих системах DGX и RTX Spark.
Если интересно, мы исследовали дата-центровые амбиции MediaTek в прошлом месяце. Но этот разработчик, известный прежде всего процессорами для смартфонов и планшетов на базе Arm, — лишь один из нескольких громких чип-дизайнеров, планирующих интегрировать эту технологию. Amazon, Fujitsu, Qualcomm, Arm и Marvell — все в том же списке.
NVLink Fusion появилась как коммерциализированная версия высокоскоростного межсоединения GPU от Nvidia, представленная в начале прошлого года. Изначально предлагались два варианта: чип-к-чипу (C2C) для соединения CPU с GPU (или XPU) в когерентной по памяти структуре и коммутируемая сеть, объединяющая несколько ускорителей в один большой логический стоечный чип. С тех пор технология расширилась и стала универсальным предложением, через которое Nvidia лицензирует свою полупроводниковую интеллектуальную собственность.
Учитывая, сколько времени потребовалось Broadcom и другим, чтобы разработать конкурентоспособные альтернативы NVLink, неудивительно, что такие компании, как MediaTek, предпочитают лицензировать технологию, а не изобретать велосипед или прокладывать альтернативные межсоединения, например UALink, поверх обычного Ethernet.
Лицензируя технологию NVLink Fusion от Nvidia, компании могут сосредоточиться на создании конкурентоспособных ускорителей, не беспокоясь о том, как масштабировать их в условиях реальной эксплуатации.
А поскольку стоечные конструкции MGX от Nvidia входят в состав Open Compute Project, MediaTek и ее партнеры не только получают выгоду от сетевой технологии масштабирования Nvidia, но и могут по сути брать существующие стойки NVL72 и устанавливать в них свои вычислительные блоки. Это должно кардинально сократить объем работ по проектированию систем и механике, необходимых для перехода от кремния к стойкам ИИ.
И это не теория. Amazon именно так и поступает со своей серией AI-ускорителей Trainium. Как мы писали ранее, Amazon использовала эталонную конструкцию Nvidia MGX NVL72 для своих стоечных систем на базе Trainium3, запущенных в прошлом году. Между тем Trainium4, ожидаемый в конце этого года, откажется от собственной технологии межсоединений Amazon NeuronLink в пользу NVLink Fusion.
Доля Nvidia
Итак, что получает Nvidia, позволяя разработчикам конкурирующих чипов «оседлать» ее кровно заработанную сетевую технологию?
Гораздо больше, чем лицензионные отчисления: это еще и способ удерживать компании на крючке своих продуктов.
Когда NVLink Fusion была впервые анонсирована, у клиентов было два варианта. Они могли сопрягать свои XPU с процессорами Nvidia или свои CPU — с GPU Nvidia. Клиентам также приходилось приобретать NVSwitch, чтобы воспользоваться возможностями масштабирования технологии.
Таким образом, помимо лицензирования технологии, Nvidia получала возможность продавать примерно два GPU на каждый процессор партнера, по одному Grace или Vera на каждые два партнерских XPU и до девяти NVSwitch на каждые 72 ускорителя — и это только одна стойка.
Если вы уже покупаете NVLink, почему бы не использовать InfiniBand или Ethernet-оборудование Nvidia Spectrum-X, чтобы объединить эти стойки в сеть для обучения и обслуживания еще более крупных моделей в масштабе?
С тех пор Nvidia смягчила свою позицию и теперь, по-видимому, довольствуется комбинацией продаж NVSwitch и лицензирования NVLink Fusion. Если бы это было не так, Amazon не смогла бы объединить Graviton с Trainium.
«Прелесть этой платформы в том, что она обеспечивает гибкость и взаимозаменяемость, чтобы соответствовать потребностям клиентов. Таким образом, используя платформу NVLink Fusion, они могут задействовать все, от CPU до GPU, от масштабируемой структуры до масштабируемой сети через наш Spectrum-X и InfiniBand, а также наш DPU внутри мелкомасштабной структуры для управления хранилищем по оси север-юг и изоляции безопасности», — заявил в понедельник журналистам Дион Харрис, старший директор Nvidia по HPC и инфраструктуре гиперскейлеров для ИИ. «Таким образом, пять различных сетевых технологий и топологий, которые мы предлагаем в нашем стеке, доступны клиентам через NVLink Fusion».
Nvidia пока не готова обсуждать структуру лицензирования, но Харрис говорит, что раздавать технологию бесплатно не собираются.
«…Можно с уверенностью предположить, что будут действовать определенные лицензионные элементы, поскольку Nvidia NVLink Fusion — это технология Nvidia», — сказал Харрис.
Дело не только в сетях
Nvidia уже является крупнейшим в мире поставщиком Ethernet-оборудования для дата-центров, что во многом обусловлено бумом ИИ. Ежеквартальная выручка от сетевых решений теперь превышает 15 миллиардов долларов, а лицензии NVLink Fusion и сопутствующие продажи NVSwitch только укрепят эту позицию. Однако амбиции Nvidia в области лицензирования на этом не заканчиваются.
На прошлой неделе Nvidia представила свое новейшее IP-предложение в виде NVHBM — по сути, заказной подложки со встроенным контроллером памяти.
По словам Nvidia, такой подход высвобождает 25 процентов площади кристалла для вычислительных блоков, одновременно снижая энергопотребление HBM на 15 процентов и повышая эффективную пропускную способность на 30 процентов.
Подразделение Amazon Annapurna Labs станет одним из первых, кто применит эту технологию в своем семействе AI-ASIC Trainium.
Хотя внедрение NVHBM компанией Amazon — явная победа Nvidia, следует отметить, что эта идея не уникальна. Насколько нам известно, Broadcom и Marvell также разрабатывают аналогичные технологии подложек. Но этот пример показывает, как Nvidia использует свою инженерную мощь для извлечения доходов из всего, что связано с ИИ, включая заказные ASIC других компаний.
Сделка с дьяволом или взаимовыгодное сосуществование
Хотя нынешний портфель IP-предложений Nvidia довольно узок, нетрудно представить, что вскоре компания начнет конкурировать с такими соперниками, как Broadcom, или партнерами вроде Marvell и MediaTek в области проектирования XPU.
В зависимости от того, как будут развиваться события, Nvidia, Broadcom, Marvell и MediaTek могут в итоге стать скорее «друзьями-врагами».
XPU быстро становятся большим бизнесом как для Broadcom, так и для Marvell, но сетевое оборудование, необходимое для масштабирования этих вычислений, и системное проектирование, требуемое для вывода на рынок, остаются конкурентным преимуществом Nvidia.
Да, у обоих есть компетентные Ethernet-коммутаторы, способные конкурировать с NVSwitch, но даже в этом случае их нужно интегрировать в стойку. Преимущество возможности установить заказной вычислительный блок в стандартную систему NVL72 и заставить его работать «из коробки» трудно игнорировать.
Если NVLink Fusion поможет разработчикам XPU продавать больше чипов, это в конечном итоге может оказаться чистым выигрышем, даже если это приведет к потере продаж коммутаторов. Nvidia прекрасно осознает, что, хотя барьер входа на рынок заказных микросхем снизился до минимума, масштабирование этих вычислений остается сложной задачей. ®
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann
