Google Cloud раскрыл причину частичного сбоя в регионе us-central1-b на этой неделе: инженер отключил его.
Инцидент произошел 1 сентября с 07:41 до 11:52 по тихоокеанскому времени и привел к «серьезной деградации сети и изоляции ресурсов» в части региона G-Cloud.
«Скорость падения трафика для ресурсов, размещенных в затронутой области, достигла 100% в пик инцидента, что привело к недоступности виртуальных машин и повышенной потере пакетов», — говорится в отчете Google о состоянии сервиса.
Предварительная причина инцидента объясняет, что Google проектирует свои облачные дата-центры с «резервированием по нескольким маршрутизирующим устройствам».
«Система спроектирована так, чтобы быть устойчивой ко всем сбоям одного устройства или оптоволоконного пути, и большинство двойных или тройных сбоев не влияют на трафик клиентов. Для обеспечения этого устройства и оптоволоконные пути физически разделены в каждом дата-центре с использованием различных источников питания», — поясняется в документе.
Однако все это резервирование можно обойти, выдернув все кабели.
«Непосредственным техническим триггером этого события стало непреднамеренное физическое отключение оптоволоконных кабелей сети во время плановой процедуры обслуживания оборудования», — пояснили в Google.
«Процедурная ошибка привела к тому, что в течение 13 минут были последовательно отключены 100% оптоволоконных путей на всех устройствах. Характер ошибки в сочетании со скоростью выполнения действия помешал инженеру получить предупреждения о неправильных действиях до полного отключения».
Как только инженер отключил маршрутизаторы, виртуальные машины в одной из зон региона us-central1-b потеряли связь с внешним миром. Они могли общаться друг с другом, но пользователи не могли связаться со своими виртуальными машинами, чтобы выяснить, что происходит.
Как только Google заметил ситуацию, он перенаправил трафик от отключенных инженером маршрутизаторов. В этот момент вступили в силу его средства обеспечения отказоустойчивости, поскольку трафик автоматически переключился на то, что компания назвала «исправной мощностью в другом месте региона».
Пока это происходило, технические специалисты «определили отключенные оптические линии и физически переподключили оптоволокно. После полного восстановления физических соединений скорость потока трафика нормализовалась, и трафик был перенаправлен обратно для восстановления работоспособности».
Подводя итог: зона Google Cloud вышла из строя, потому что один из инженеров компании выдернул все кабели, соединяющие ее с интернетом. Как только кто-то снова все подключил, оно заработало.
«The Register» стало известно, что такие компании, как Google, создают подробные процедуры безопасного обслуживания своей инфраструктуры, и технические специалисты всегда должны тщательно их соблюдать.
Поэтому кажется, что инженер, выдернувший кабели, не соблюдал одно из самых основных правил техники: RTFM (Read The Fucking Manual). ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Simon Sharwood
