Центры обработки данных для ИИ представляют собой клубок оптоволоконных кабелей, соединяющих тысячи ускорителей ИИ, сетевых карт, коммутаторов и всего остального, необходимого для обучения и работы новейших и самых передовых моделей.
Cisco надеется распутать этот клубок с помощью нового подключаемого оптического модуля, разработанного в сотрудничестве с Nvidia, который обеспечит пропускную способность в четыре-восемь раз выше, чем у существующих модулей, при использовании одного порта.
Представленный на глобальном саммите Open Compute Project (OCP) на этой неделе, сверхплотный подключаемый модуль малого форм-фактора (USFP) обещает обеспечить до 32 каналов по 400 Гбит/с в модуле размером примерно с существующие модули OSFP.
Каждый из этих модулей будет обладать пропускной способностью Ethernet 12,8 Тбит/с, что сравнимо с высокопроизводительным корпоративным коммутатором всего несколько лет назад. Для сравнения, самые современные подключаемые оптические модули сегодня достигают около 1,6 Тбит/с, используя восемь каналов по 200 Гбит/с.
Такой модуль потенциально может значительно упростить кабельную инфраструктуру в центрах обработки данных для ИИ, где нередки случаи, когда каждый GPU сопряжен с сетевой картой на 800 Гбит/с, а в скором времени и на 1,6 Тбит/с. Один модуль USFP мог бы объединить кабельную инфраструктуру для восьми GPU в один оптоволоконный жгут.
Тем временем, со стороны коммутаторов, будущий коммутатор на 204,8 Тбит/с потребует всего 16 портов USFP для поддержки 128 конечных точек на 1,6 Тбит/с.
Упаковать всю эту связность в один модуль будет непросто. Сегодня высокопроизводительный подключаемый оптический модуль может потреблять около 20 Вт. Спецификация Cisco USFP предусматривает до 100 Вт на модуль.
Существуют также конструктивные ограничения, которые необходимо учитывать. В четыре раза больше каналов на модуль означает в 4 раза больше электрических контактов, которые должны быть идеально установлены.
Из-за этого Cisco заявляет, что модули USFP будут использовать двухфазный механизм вставки, при котором модуль сначала вставляется в корпус, а затем активируется второй механизм для установки электрического соединения.
Говоря о надежности, USFP будет иметь большую зону поражения, чем обычные модули. Один неисправный лазер или цифровой сигнальный процессор (DSP) может вывести из строя гораздо больше, чем один GPU, а целые системы.
Хотя это может звучать плохо, это ничто по сравнению с ко-пакетной или близкой к корпусу оптикой, где один сбой может отключить от сети ускорители целого ряда.
Участие Nvidia в разработке стандарта USFP примечательно, поскольку титан сетевых технологий Ethernet в своих последних коммутаторах в значительной степени отказался от подключаемых модулей. Многие из его коммутаторов Spectrum-X и Quantum-X теперь используют ко-пакетную оптику, и на то есть веские причины. Отказ от подключаемых модулей на стороне коммутатора обеспечивает экономию энергии примерно на 30 процентов.
Но в то время как новейшие коммутаторы Nvidia могут использовать CPO, ее сетевые карты по-прежнему полагаются на подключаемые модули, отчасти потому, что это дает интеграторам большую гибкость. Не все строят кластеры из более чем 100 000 GPU для обучения. Для стоек, использующих коммутатор верхнего уровня, можно без особых проблем использовать медные кабели прямого подключения с низким энергопотреблением.
Учитывая инвестиции Nvidia в CPO, мы можем только предполагать о ее интересах в USFP, но, вероятно, дело в плотности размещения. Гигант инфраструктуры ИИ быстро движется к стойкам мощностью 600 кВт, вмещающим 144 GPU.
Платформа Nvidia Vera Rubin Ultra, впервые представленная в начале 2025 года, обещала масштабируемую пропускную способность до 115,2 Тбит/с на стойку, или примерно от 3,2 до 6,4 Тбит/с на пакет GPU, в зависимости от того, считают ли они двунаправленную пропускную способность или нет.
Так совпало, что первоначальная спецификация Cisco USFP предусматривает 16 каналов по 400 Гбит/с на модуль, или около 6,4 Тбит/с пропускной способности.
Хотя Cisco и Nvidia могут лидировать в разработке сверхплотного оптического подключаемого модуля, как и большинство вещей в Ethernet, USFP будет открытым стандартом, который любой может использовать в своих разработках.
Microsoft использует Cisco для межцентрового ИИ
Наряду с последним соглашением Cisco с Nvidia, компания Switchzilla также сообщила, что Microsoft теперь использует ее маршрутизирующие чипы Silicon One P200 для распределения рабочих нагрузок между несколькими центрами обработки данных.
Nvidia и другие называют такой вид многосайтовых вычислений: масштабирование по сети.
Мы подробно обсуждали платформу маршрутизации Cisco для центров обработки данных в конце прошлого года, но ее кремний напрямую конкурирует с такими продуктами, как Spectrum-XGS от Nvidia и решения на базе Jericho 4 от Broadcom.
Cisco позиционирует P200 как первую систему на 51,2 Тбит/с, “развернутую в производственной среде ведущими гиперскейлерами”. С достаточным количеством оговорок можно быть первым во всем.
Как мы сообщали в то время, Microsoft была одним из первых крупных гиперскейлеров, кто принял масштабирование по сети как средство преодоления локальных ограничений по энергопотреблению с помощью своих кластеров Fairwater в Висконсине и Джорджии. И, похоже, мы наконец-то знаем оборудование, которое старый добрый Редмонд использует для их объединения.
Cisco уделяет внимание SONiC
Говоря о гиперскейлерах, одно, чего вы, вероятно, не найдете в сети гиперскейлера, — это операционная система сети (NOS) Cisco Nexus. Гиперскейлеры, такие как Microsoft, обычно используют независимые от поставщика платформы NOS, чтобы избежать привязки к поставщику и сделать управление сетями между различными поставщиками Ethernet более дешевым и простым.
SONiC, изначально разработанный Microsoft и позже выпущенный с открытым исходным кодом, является одной из самых популярных и широко используемых NOS для гиперскейлеров.
Поддержка SONiC, стоит отметить, не является чем-то новым для Cisco, которая, вопреки распространенному мнению, более чем готова продать вам любую часть своего сетевого стека, при условии, что у вас достаточно большой кошелек — у гиперскейлеров он, безусловно, есть. Таким образом, Cisco является одним из крупнейших контрибьюторов проекта SONiC.
Вместо того чтобы заставлять клиентов использовать свой программный стек, подход Cisco к SONiC и гиперскейлерам заключается в расширении возможностей NOS для лучшего использования уникальных возможностей ASIC и обеспечения интеграции с ее сервисами.
На OCP на этой неделе Cisco объявила о поддержке своей платформы Live Protect в SONiC, чтобы клиентам было проще отслеживать исправления безопасности в реальном времени. Эта функция ожидается к выпуску в следующем году. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann
