Беспокойство GitHub продолжилось на этой неделе: технический директор Владимир Федоров предоставил более подробную информацию об инциденте 17 августа, при этом тщательно избегая слова «извините».
Сбой длился 7 часов 47 минут и нарушил работу разработчиков по всему миру. Actions, pull requests, issues, Copilot и API были среди затронутых сервисов, поскольку платформа не справилась с масштабированием под нагрузкой. «Если вы пытались выпустить программное обеспечение в тот день, мы вас подвели», — написал Федоров.
Этот инцидент последовал за другим сбоем, связанным с Actions, 6 августа. Платформа уже некоторое время была нестабильной, что она признала в апреле, но работа по устранению коренных проблем не поспевала за неуклонным ростом трафика.
В апреле ежемесячное количество коммитов составляло 1,4 миллиарда. GitHub сообщает, что сейчас платформа обрабатывает 2,9 миллиарда коммитов, 24 миллиона новых репозиториев и 130 миллионов объединенных пул-реквестов в месяц.
Microsoft Azure в настоящее время обрабатывает примерно 58 процентов нагрузки платформы GitHub и половину всех операций Git. По словам Федорова, GitHub ускорил перенос дополнительных рабочих нагрузок в облако материнской компании.
«Наша следующая веха — архитектура, которая линейно масштабирует пропускную способность чтения в зависимости от количества читателей, обеспечивая неограниченные операции чтения», — заявил он. «Мы будем внедрять её постепенно, начиная с крупнейших монорепозиториев».
Прежде чем эта архитектура появится, GitHub должен устранить слабые места в масштабировании, выявленные retry storms и неправильно настроенными лимитами. Федоров подчеркнул, что «ни один из сбоев не был вызван изменением кода или конфигурации» — иными словами, режимы отказов уже таились в платформе, а не были внесены новым развертыванием.
Компания также работает над изоляцией критических систем, чтобы уменьшить радиус поражения будущих сбоев, ужесточить лимиты повторных попыток и добавить оповещения о ранних признаках всплесков трафика.
Повторяющиеся сбои GitHub встревожили по крайней мере некоторых разработчиков. Реакции в социальных сетях сочетали сочувствие к сложности работы в таком масштабе с разочарованием платящих клиентов, которые говорят, что сервис не соответствует ожиданиям.
Федоров заключил: «Сообщество разработчиков полагается на GitHub для создания, доставки и эксплуатации своей работы. Это возможно только если вы можете на нас положиться, а 17 августа вы не могли. Наша обязанность — это исправить. Мы заслужим ваше доверие благодаря масштабированию и надежности платформы». ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Richard Speed
