Nvidia — это не только лидер в области графического и ИИ-оборудования. Компания также стала гигантом в индустрии сетевых технологий, обогнав всех конкурентов по продажам Ethernet-решений для дата-центров.
Во втором квартале выручка Nvidia от сетевых решений превысила 17,5 миллиарда долларов. Для сравнения, выручка Cisco за тот же период по всем продуктам составила 17,3 миллиарда долларов.
Появление Nvidia в качестве сетевого лидера кажется внезапным, однако Дженсен Хуанг начал двигаться к этому статусу в 2019 году с приобретения давнего партнера по сетевым технологиям Mellanox за 6,9 миллиарда долларов.
В то время Mellanox не была известна в сфере Ethernet-коммутации. Компания была в основном известна своими сетевыми картами ConnectX и коммутаторами InfiniBand. За пределами высокопроизводительных вычислений (HPC) и суперкомпьютерных кластеров, а также крупного развертывания у Microsoft, InfiniBand не получила широкого распространения в гипермасштабируемых дата-центрах.
Покупка Mellanox позволила Nvidia позиционировать себя как системного интегратора, что имеет особое значение в контексте распределенных вычислений. Nvidia понимала, что ее клиенты в дата-центрах не заинтересованы в покупке GPU или даже серверов; им нужны были кластеры систем. Для этого Nvidia требовались межсоединения, и InfiniBand от Mellanox идеально подходила.
Непрерывное совместное проектирование
На протяжении многих лет Хуанг говорил о совместном проектировании — разработке компонентов и программного обеспечения для совместной работы над конкретными задачами, а не для того, чтобы быть лучшим GPU, коммутатором или сетевой картой. Работа с Mellanox является ярким примером такого подхода.
По словам аналитика Dell’Oro Group Самеха Бужельбен, решение Nvidia интегрировать вычислительные мощности и сетевые технологии стало ключом к успеху компании.
«Клиенты выбирают Nvidia за ее тесно интегрированную вычислительную и сетевую архитектуру, оптимизированную для рабочих нагрузок ИИ», — сказала она The Register. Такая интеграция упрощает развертывание и ускоряет вывод на рынок.
Бен Мэйби, технический директор Recursion, компании, занимающейся передовыми разработками в области ИИ и машинного обучения, рассказал The Reg , что схемы интеграции Nvidia убедили его.
Recursion, основанная в 2013 году, почти за десятилетие до того, как ChatGPT сделал ИИ темой для обсуждений за обеденным столом, стремилась применять машинное обучение на базе GPU для решения задач в области открытия лекарств.
Эта работа включала обработку огромных наборов данных, которые, по словам Мэйби, теперь превышают 50 петабайт.
«Когда вы думаете о наших рабочих нагрузках, обучение LLM кажется легкой задачей по сравнению с объемом данных, которые необходимо перемещать», — сказал он The Register.
«В биологии и науке в целом не совсем понимают, насколько велики эти данные», — добавил он. «Интернет велик, но в общем масштабе текст, на котором обучаются люди, на самом деле довольно мал по сравнению с петабайтами данных, которые мы имеем из этих изображений».
Первым кластером Recursion была система под названием BioHive Zero, которую они собрали из графических карт GTX 1080, изначально предназначенных для игровых систем. Они использовали Ethernet для подключения GPU и столкнулись с ограничениями традиционных сетевых технологий.
Поэтому для своего второго кластера, машины на базе A100 с примерно 300 ускорителями, Recursion выбрала коммутаторы Quantum InfiniBand и сетевые карты ConnectX от Nvidia.
Как объясняет Мэйби, покупка вычислительных мощностей и межсоединений у одного поставщика значительно упростила оптимизацию и устранение неполадок. Когда Recursion обратилась к Nvidia за помощью в настройке системы, они смогли рассматривать ее как единую систему, а не как отдельные вычислительные и сетевые ресурсы. Такой уровень интеграции ранее предлагался только нишевыми производителями суперкомпьютеров, такими как Cray или Atos (Eviden/Bull/как бы ее ни переименовали в следующий раз).
Более широкий спектр
Nvidia не всегда выделяла выручку от сетевых решений в отдельную строку в своей финансовой отчетности. Однако, основываясь на комментариях финансового директора и некоторых расчетах “на салфетке”, мы можем заполнить пробелы.
Выручка Nvidia от сетевых решений неуклонно росла с момента приобретения Mellanox. В два момента выручка резко подскочила.
Первый скачок произошел в 2023 календарном году (2024 финансовый год) после того, как OpenAI положила начало “золотой лихорадке ИИ” запуском ChatGPT.
Второй пришелся на 2024 и 2025 годы, когда Nvidia начала продавать GPU поколения Blackwell, а затем приступила к их массовым поставкам.
«Я вижу две основные точки перегиба, обе из которых совпадают с началом использования платформы Blackwell: внедрение коммутаторов NVLink и ускоренное внедрение Ethernet-коммутаторов Spectrum-X для бэкэнд-сетей ИИ, обусловленное растущим развертыванием кластеров GPU Nvidia и увеличением доли коммутаторов, сетевых карт, оптики и кабелей Nvidia», — сказала Бужельбен.
Примерно в это же время пользователи начали массово развертывать Ethernet-коммутаторы в кластерах Nvidia. Суперкомпьютер Илона Маска Colossus стал одним из первых примеров.
Как мы сообщали тогда, первая половина кластера на 200 000 чипов H100 и H200 была запущена в 2024 году и на тот момент была одним из крупнейших кластеров, когда-либо развернутых с использованием Ethernet-коммутаторов Spectrum-X от Nvidia.
*Meta также активно использовала коммутаторы Spectrum от Nvidia в своих тренировочных кластерах, в том числе на своем объекте Prometheus с миллионом GPU в Нью-Олбани, штат Огайо.
Есть несколько причин, по которым решение Nvidia Spectrum-X показывает такие хорошие результаты.
Во-первых, благодаря комбинации Ethernet-коммутаторов Spectrum, супер-сетевых карт (superNICs) и некоторых умных программных оптимизаций Nvidia смогла воспроизвести многие качества, которые делали InfiniBand столь привлекательным, одновременно получая преимущества от значительно более высокой степени связности (radix) и интероперабельности.
Ethernet-коммутаторы, включая собственные решения Nvidia, исторически предлагали больше портов. Чем выше степень связности, тем меньше коммутаторов требуется для поддержки кластера при заданной скорости портов.
Это часто ошибочно интерпретируется как невозможность масштабирования InfiniBand за пределы кластеров определенного размера, что не всегда так. Но для кластеров, превышающих определенное количество GPU, Ethernet часто оказывается более экономичным, поскольку требует меньше оборудования при достижении аналогичной утилизации.
Тем не менее, Spectrum-X от Nvidia не является чем-то уникальным. Broadcom, Cisco, AMD и другие смогли достичь утилизации, сравнимой с InfiniBand, благодаря различным инвестициям в умные сетевые карты и коммутаторы.
Основным отличием Nvidia, как ранее отметили Мэйби и Бужельбен, является уровень интеграции между вычислительными мощностями и сетевыми технологиями.
Следующий рубеж
Затем на рынок вышла Blackwell, обеспечив гораздо больший масштаб и вызвав всплеск сетевой выручки Nvidia.
До Blackwell технологии NVLink и NVSwitch от Nvidia были в основном ограничены отдельными системами с восемью GPU. С выпуском GB200 NVL72 эти NVSwitch были выделены в отдельные устройства. (И да, мы помним GH200 NVL256 и NVL32, но, насколько нам известно, они никогда не поставлялись в значительных объемах, если вообще поставлялись).
На каждую проданную систему NVL72 стойку Nvidia также продавала девять лотков NVSwitch, которые позволяли шести десяткам GPU системы функционировать как один огромный GPU. Это фактически гарантировало стабильный рост сетевой выручки: даже если клиенты не покупали масштабируемые коммутаторы Nvidia, если они хотели стойки NVL72, они автоматически покупали NVSwitch.
«По нашим оценкам, на NVSwitch приходится около трети сетевой выручки Nvidia, тогда как менее двух лет назад этот показатель был практически нулевым», — сообщила Бужельбен El Reg. «Это подчеркивает, насколько быстро коммутация NVLink стала основным двигателем роста сетевого бизнеса Nvidia».
Теперь Nvidia стремится еще больше расширить свой сетевой бизнес с помощью новой программы лицензирования.
До недавнего времени технология NVSwitch от Nvidia была ограничена собственными ускорителями компании. Однако с внедрением NVLink Fusion в начале прошлого года Nvidia открыла технологию межсоединений для лицензирования третьими сторонами.
Многие разработчики чипов, включая Marvell, Qualcomm, Arm, Fujitsu, MediaTek и d-Matrix, объявили о планах разработки CPU и XPU с использованием NVLink Fusion. Внедрение межсоединений открывает двери для дополнительных продаж NVSwitch, поскольку чипы, использующие NVLink Fusion, по-прежнему полагаются на них для связи между чипами, и другого места для их получения нет, поскольку Nvidia еще не лицензировала NVSwitch.
«NVLink Fusion позволяет Nvidia расширить свое сетевое присутствие за пределы собственных GPU на быстрорастущий рынок пользовательских ускорителей. Я рассматриваю это как стратегический шаг для захвата большей доли расходов на сетевые технологии для ИИ, даже в кластерах, которые не используют GPU Nvidia», — сказала Бужельбен.
Сетевые амбиции Nvidia на этом не заканчиваются.
«Nvidia продолжает искать возможности в развивающихся сетевых доменах, поскольку сетевые требования эволюционируют, чтобы соответствовать все более требовательным рабочим нагрузкам ИИ», — добавила Бужельбен. «Последний пример — это масштабируемые сети (scale-in networking), разработанные для удовлетворения новых требований агентного ИИ, в то время как инновации, такие как CPO, помогут преодолеть растущие проблемы с пропускной способностью, энергопотреблением и масштабируемостью». ®
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann
