ОСОБЕННОСТЬ В неприметном трехэтажном офисном здании в Купертино, Калифорния, инженеры Amazon Web Services усердно работают над тем, чтобы сделать сетевые технологии незаметными.
Они трудятся в лабораториях разработки оборудования без окон в центре здания, окруженные кольцом офисных кабин, из которых открывается вид на скудные парковочные места и прилегающую зеленую зону.
Их последний проект, который The Register и несколько других изданий договорились не обсуждать до официального анонса, возможно, привлечет внимание. Однако их сетевые устремления отличаются от рекламных целей команды по связям с общественностью AWS.
Сеть должна быть как выключатель света, сказал Мэтт Редер, вице-президент по базовым сетям в AWS, во время экскурсии по лаборатории AWS на Торре-Авеню в конце апреля. Она должна быть чем-то, что просто работает.
“В конечном счете, никого не волнует сеть, — сказал он. — Она выполняет функцию. Вы обращаете на нее внимание, когда она сломана. Но в остальное время вы хотите, чтобы она не мешала. Так что это была наша ментальная модель последние 15 лет: как убрать сеть с дороги?”
С точки зрения бизнеса, сеть доставляла AWS проблемы как минимум с 2010 года. Джеймс Гамильтон, старший вице-президент и выдающийся инженер Amazon, сказал об этом в презентации под названием “Сети дата-центров мне мешают“.
“Это было в самые ранние дни облака, — пояснил Редер. — Но даже тогда, с ростом пропускной способности, который мы наблюдали, было совершенно ясно, что существующие методы построения сетей не смогут масштабироваться в будущем и что должно произойти нечто фундаментально иное”.
Гамильтон возражал против вертикально интегрированного сетевого стека, который замедлял инновации и поддерживал высокую маржу для производителей сетевого оборудования. Он сравнил это с бизнес-моделью мэйнфреймов и заявил, что предпочитает бизнес-модель серверов, где есть конкуренция и программное обеспечение с открытым исходным кодом.
Сети для AWS, объяснил Редер, состоят из трех основных типов оборудования: сетевых устройств, включая коммутаторы и маршрутизаторы, построенных на специализированных интегральных схемах (ASIC), которые пересылают данные из одного порта в другой; оптических приемопередатчиков, которые отправляют и принимают световые сигналы с помощью лазера; и кабелей, которые могут быть из оптоволокна или медного провода.
Когда AWS строилась полтора десятилетия назад, облачный бизнес решил, что ему необходимо взять под контроль свои сетевые технологии. “Это настолько фундаментально для того, что мы построили, — сказал Редер. — И поэтому мы решили, что нам нужно начать разрабатывать собственное оборудование и собственное программное обеспечение”.
Компания начинала с малого, работая со сторонними разработчиками над созданием сетевых устройств, итеративно совершенствуя их до тех пор, пока ее собственная технология не охватила дата-центры, ядро сети и пограничную сеть.
Уникальность AWS, по словам Редера, заключается в том, что другие сетевые провайдеры обычно используют один тип коммутирующих ASIC для своей агрегационной сети, другой — для ядра сети и третий — для пограничной сети, поскольку у каждой из них разные требования к памяти, производительности и пропускной способности.
“Они бы использовали разный кремний для разных коммутаторов, — сказал он. — Мы используем один для всего”.
Причина, объяснил он, в простоте. “Если у вас есть одна вещь, и вы вкладываете чрезмерные средства в то, чтобы сделать ее по-настоящему хорошей, вы вкладываете всю свою энергию в это оборудование и программное обеспечение, делая его супернадежным, — сказал Редер. — Это также помогает нам масштабировать сеть, потому что, когда мы управляем нашей цепочкой поставок или думаем о том, как масштабироваться, нам не нужно балансировать все эти конкурирующие SKU”.
Он признал, что это создает некоторые проблемы.
“Есть веская причина, по которой люди используют разные типы коммутирующих ASIC, потому что функциональность у них разная, — объяснил Редер. — И вот тут в игру вступает контроль над нашим собственным программным обеспечением. Мы смогли устранить необходимость в этом специализированном кремнии, проявив изобретательность в нашем программном обеспечении и просто найдя творческие способы сохранить то, что должно происходить на устройстве, в оборудовании максимально простым, при этом обеспечивая отличную производительность и функциональность для наших клиентов”.
Коммутаторы имеют специализированные ASIC для максимальной эффективности маршрутизации пакетов. ASIC может перемещать многие миллионы пакетов в секунду из одного порта в другой, не проходя через центральный процессор (CPU).
Итак, теперь у AWS есть собственное оборудование, работающее на собственном программном обеспечении — версии Linux под названием NetOS. Нынешний собственный коммутатор компании способен передавать трафик со скоростью 51,2 терабит в секунду через 64 порта, работающих на скорости 800 гигабит в секунду. В течение следующих 12 месяцев коммутатор следующего поколения обеспечит пропускную способность 102,4 терабит в секунду через 64 порта, работающих на скорости 1,6 терабит в секунду.
“Вся система работает на одной и той же операционной системе, что для нас очень мощно, — сказал Редер. — С точки зрения безопасности это означает, что весь код наш. Мы можем его сканировать, исправлять ошибки… мы можем очень, очень регулярно устанавливать исправления и обновлять наши устройства”.
Владение всем позволило AWS делать сложные вещи. В качестве примера Редер привел сеть высокоточного времени, которую AWS выпустила несколько лет назад. Это потребовало уникального оборудования и уникального программного обеспечения, интегрированного с сервером Nitro компании. По его словам, эта технология позволяет приложениям, таким как высокочастотный трейдинг и распределенные базы данных, работать на больших расстояниях.
“Единственный способ, которым мы могли бы этого добиться, — это возможность использовать наше собственное оборудование и наше собственное программное обеспечение, а затем сделать что-то уникальное для решения какой-либо проблемы клиента AWS”, — сказал он.
“Более серьезная проблема, которую мы пытаемся решить, — как синхронизировать все часы серверов, — сказал Сатиш Вангала, директор по разработке сетевых продуктов в AWS. — Нам пришлось создать выделенную сеть, чтобы обеспечить синхронизацию времени с микронной точностью для всех серверов в нашем дата-центре”.
Сеть AWS состоит примерно из двух миллионов устройств и около 50–60 миллионов оптических соединений и приемопередатчиков. В настоящее время она включает около 20 миллионов километров наземного и подводного оптоволокна, чего, по словам Редера, достаточно, чтобы добраться от Земли до Луны и обратно 25 раз. И это только кабель между зданиями. Если измерять кабель внутри дата-центров, то его количество, возможно, на порядок выше.
Один из способов, которым AWS недавно улучшала свою сеть, — это развертывание оптоволокна с полой сердцевиной, которое существует уже некоторое время, но только недавно стало возможным производить его в промышленных масштабах.
В обычном оптоволоконном кабеле световые сетевые сигналы проходят через стеклянное волокно. Оптоволокно с полой сердцевиной состоит из стеклянной трубки, окружающей воздух или вакуум, что обеспечивает меньшие преломляющие помехи и позволяет свету двигаться со скоростью, близкой к его естественному пределу.
В результате задержка снижается на 30 процентов, что, по словам Редера, существенно, особенно для размещения дата-центров. Он объяснил, что когда строится регион AWS и в нем, например, три зоны доступности, дата-центры должны находиться близко друг к другу, но не слишком близко.
Для последующего расширения задержка между сооружениями накладывает ограничения на размещение зданий — она должна быть достаточно низкой, чтобы приложения клиентов в разных дата-центрах в пределах одного региона вели себя так, как будто они расположены в одном месте.
Таким образом, оптоволокно с полой сердцевиной расширяет потенциальные ресурсы, доступные дата-центрам AWS — с точки зрения земли и электроэнергии — позволяя размещать сооружения в большем радиусе.
“У нас уже есть развернутое оптоволокно с полой сердцевиной в нескольких местах, — сказал Редер. — Оно дороже традиционного волокна. Но если оно позволяет нам уменьшить задержку или лучше обслуживать клиентов, в общем плане стоимость волокна мала, если смотреть на общую стоимость дата-центров, серверов, сетевого оборудования и всего остального”.
Улучшения сети, такие как оптоволокно с полой сердцевиной, необходимы, поскольку спрос на пропускную способность продолжает расти.
Редер сказал, что потребность в пропускной способности росла на протяжении всей его карьеры, но особенно сильно за последние четыре-пять лет, с ростом популярности генеративных ИИ-сервисов.
“Ускоренные типы серверов, как правило, требуют в три-четыре раза большей пропускной способности, чем более традиционные типы серверов на базе CPU, — объяснил он. — Мы по-прежнему используем то же оборудование и то же программное обеспечение, но мы по-другому их комбинируем”.
Чтобы получить больше серверов с большей пропускной способностью в одной сети в дата-центре с меньшей задержкой между серверами, AWS использует меньше сетевых устройств на пути между двумя серверами.
“Таким образом, сеть UltraCluster позволяет масштабироваться гораздо больше, чем другая традиционная сеть, которую мы используем, — сказал Редер. — По сути, это другая топология сети. Вместо семи сетевых устройств на пути между любыми двумя точками, в ней пять сетевых устройств на пути между двумя точками”.
По мере того как AWS наращивала мощности и расширяла свою сеть, масштаб ее операций требовал инноваций. Редер объяснил, что возникают такие вопросы, как физическая кабельная инфраструктура — необходимое количество разъемов и то, как их можно оптимизировать для удобства, скорости развертывания и надежности.
“Когда вы работаете с оптоволокном, это не похоже на порт Ethernet, который вы просто подключаете, — объяснил Редер. — При использовании оптоволоконных кабелей, поскольку вы передаете сигнал, даже если вы правильно подключили кабель, если он не закреплен идеально или если он хоть немного загрязнен, это может исказить сигнал, и это может снизить его надежность. Это серьезная проблема, когда вы работаете в больших масштабах, а новейшие технологии находятся на грани того, что можно чисто передать и принять, и все пытаются это развернуть”.
“Это большая область нашего внимания — не только создание всей этой мощности, но и обеспечение того, чтобы ее можно было быстро построить, а затем, после постройки, она работала чрезвычайно надежно”, — сказал он.
Один из способов, которым AWS пытается обеспечить плавную настройку, — это устройство под названием firefly, коннектор, который немного напоминает пришельца из классической аркадной игры Space Invaders. Его функция — проверить путь прохождения оптоволоконного сигнала, чтобы это не было переменной при добавлении новой конечной точки.
“Каждый из них будет иметь передачу и прием, — сказал Редер, — и это, по сути, замыкает передачу и прием, так что, когда мы доставляем оптоволокно в дата-центр, оно будет подключено к сетевому коммутатору с другой стороны, и он сможет отправить сигнал, и если вы увидите, что сигнал возвращается к самому себе, вы сможете убедиться, что путь оптоволокна чист. Таким образом, когда клиент приходит, вы можете просто подключить его, и все готово”.
Когда сеть работает — более 99 процентов времени, как правило, — вы можете даже не заметить инженерных усилий. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
