Google Cloud сообщила, что причиной сбоя 20 октября в зоне доступности europe-west-2-b стала «неправильная конфигурация» систем, из-за которой аварийные генераторы не запустились.
Сбой в лондонском центре обработки данных привел к перебоям в работе таких компаний, как Lloyds, HSBC, Royal Mail и Revolut.
В обновлении от 4 ноября на странице статуса сервиса Google объяснила, что пошло не так.
«Объект использует архитектуру питания 2N, при которой объект имеет полные дублирующие пути питания для каждой критически важной нагрузки, с резервированием от центральной группы высоковольтных генераторов, управляемой двумя резервированными программируемыми логическими контроллерами (ПЛК)», — сообщила Google.
Объект получает электроэнергию от двух независимых фидеров, которые Google называет «A» и «B». Также имеется «резервное подключение к сети, настроенное для ручного переключения по всей территории кампуса во время технического обслуживания или чрезвычайных ситуаций».
Google утверждает, что первопричиной инцидента стал сбой во внешнем подземном кабеле, по которому поставщик электроэнергии подает электричество в её дата-центры.
Этот кабель подключен к основному фидеру A и вышел из строя в то время, когда фидер B не работал.
«Автоматический выключатель фидера B был физически разомкнут для проведения корректирующих ремонтных работ после проблем, выявленных во время ежеквартального испытания нагрузки генератора 14 октября 2026 года», — признала Google. «Следовательно, основной фидер A поддерживал полную критическую нагрузку, в то время как выключатель фидера B оставался в разомкнутом положении для проведения ремонтных работ на пути фидера B».
Для такого крупного оператора, как Google, который знает о необходимости установки резервных источников электропитания, таких как источники бесперебойного питания (ИБП) и генераторы на месте, это не должно было стать проблемой.
Действительно, в europe-west-2-b используются ИБП, которые, по словам Google, могут поддерживать работу в течение пяти минут, если зона доступности теряет связь с сетью.
ИБП работали, но «недостаток конструкции датчика напряжения и неправильная конфигурация ПЛК помешали генераторной установке объекта получить сигнал автоматического запуска для принятия критической нагрузки».
Таким образом, ИБП Google исчерпали заряд, но генераторы не запустились. Остальное — история.
Технологический гигант выяснил, что его ПЛК не были настроены для работы в условиях, с которыми он столкнулся в этот роковой день.
«Логика ПЛК указывала на наличие исправного источника питания, даже несмотря на то, что первичные и вторичные распределительные фидеры были обесточены, и не выдавала команду на запуск генераторной установке», — говорится в обновлении статуса.
Как только Google смог восстановить связь с поставщиком электроэнергии, он перепрограммировал ПЛК, чтобы избежать повторения ошибки.
Google внес множество изменений в электрическую систему europe-west-2-b и утверждает, что протестировал их, и все они работают.
Компания также поставила себе две задачи: одна из них — «улучшение коммуникаций», которая предусматривает «ускорение уведомлений путем разработки автоматизированного механизма оповещения для инцидентов, влияющих на работу объекта».
Другая задача — «расширение результатов тестирования платформы для событий на уровне инфраструктуры».
Когда Google выполнит эти задачи, возможно, он сможет лучше справляться со сбоями — а если нет, то, по крайней мере, быстрее информировать клиентов о своих проблемах. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Simon Sharwood
