Google подробно описала причину сбоя в работе облачных сервисов в Великобритании 19 октября.
В обновлении на странице статуса Google гигант поиска и облачных технологий объяснил, что инцидент был вызван «внешним сбоем электропитания», который привел к недоступности сервисов для рабочих нагрузок в зоне доступности europe-west2-b, как впервые сообщило издание The Register.
Объект, расположенный в британском дата-центре, использует архитектуру питания 2N, которая обеспечивает «полностью дублированные пути питания для каждой критически важной нагрузки, резервируемые центральной группой высоковольтных генераторов, управляемой двумя резервирующими друг друга программируемыми логическими контроллерами (ПЛК)».
В обновлении статуса далее говорилось: «Основное питание подается на объект по двум независимым фидерам (A и B), дополняемым резервным подключением к сети, настроенным для ручного переключения в масштабах кампуса во время плановых работ или чрезвычайных ситуаций. Два высоковольтных основных фидера (A и B) заканчиваются на отдельных первичных вводных распределительных устройствах, способных работать в замкнутом контуре, если одно из устройств будет отключено. Переключение между основными и резервными поставщиками электроэнергии осуществляется с использованием открытых переходов и ключевых блокировок для предотвращения параллельного подключения источников.
«Системы аккумуляторных батарей бесперебойного питания (ИБП) обеспечивают автономную работу в течение примерно пяти минут. Это буферное питание обеспечивает непрерывную работу, пока ПЛК обнаруживает события понижения напряжения в сети, инициирует запуск дизель-генератора, синхронизирует генераторы и переключает нагрузку объекта».
Перед сбоем объект был временно переведен в конфигурацию 1N с одним фидером для тестирования нагрузки генератора. Однако произошел сбой внешнего подземного кабеля на основном фидере питания A.
«После потери основного фидера питания A, ошибка в конструкции датчика напряжения и неправильная конфигурация ПЛК помешали генераторной установке объекта получить сигнал автоматического запуска для принятия критической нагрузки. В результате статические ИБП поддерживали критическую нагрузку, как и предполагалось, до тех пор, пока их резервы не иссякли, что привело к потере питания в залах дата-центра».
«ПЛК был запрограммирован на проверку наличия напряжения на стороне линии фидера перед выдачей команды на запуск генератора», и «Фидер B оставался под напряжением выше по потоку, в то время как его вводной фидер находился в разомкнутом положении. Следовательно, активные и резервные мастер-ПЛК, работавшие по идентичной логике управления, обнаружили наличие напряжения от фидера B через общие датчики выше по потоку на отключенном пути».
Таким образом, ПЛК посчитал источник питания исправным и доступным, и не выдал команду на запуск генераторной установки.
Электропитание было восстановлено через резервный источник для возвращения критической нагрузки и подзарядки аккумуляторов ИБП, после чего инженеры приступили к восстановлению работы сервисов.
В связи с инцидентом Google внедряет «улучшение системы связи», которое, по ее словам, ускорит уведомления за счет разработки автоматизированного механизма оповещения для инцидентов, влияющих на работу объектов.
Google эксплуатирует дата-центр в Уолтем-Кросс, Хартфордшир, который был открыт в сентябре 2025 года, и, по сообщениям, рассматривает возможность строительства дата-центра в Тиссайде, Великобритания.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Georgia Butler
