Более 11 процентов графических процессоров (GPU) суперкластера Prometheus компании *Meta в Нью-Олбани, штат Огайо, либо вышли из строя, либо простаивают в ожидании замены вышедших из строя, как сообщила на этой неделе Zuckercorp.
Массивный пул резервных GPU — лишь одна из нескольких мер, предпринятых гиперскейлером для обеспечения бесперебойной работы своих ИИ-тренировок.
Prometheus является одним из крупнейших вычислительных кластеров *Meta на сегодняшний день. Суперкластер, работающий на системах Grace Blackwell и (скоро) Vera Rubin от Nvidia, по заявлению *Meta, в конечном итоге достигнет мощности в один гигаватт и будет включать около миллиона ускорителей.
Однако, как понимает любой, кто работал с крупномасштабными вычислительными кластерами, будь то для обучения LLM или традиционных HPC-нагрузок, большее количество чипов неизбежно означает больше проблем.
В узле с восемью GPU вероятность отказа одного GPU относительно мала. В кластере из 100 000 GPU отказы неизбежны. *Meta строит систему в 10 раз больше и требует распределенного обучения в нескольких дата-центрах. Поддержание всей системы в рабочем состоянии достаточно долго, чтобы достичь следующей контрольной точки, становится серьезной головной болью.
В блоге, опубликованном на этой неделе, *Meta представила уникальный взгляд на работу, проделанную для предотвращения сбоев, которые могли бы помешать разработке таких моделей, как Muse Spark или ее последняя версия Muse Wonder.
Простаивающие GPU — цена непрерывности
Когда *Meta начала первую фазу развертывания Prometheus в Нью-Олбани, компания сообщила, что ежедневно сталкивалась примерно с 1000 сбоями на каждые 8000 GPU.
Сбои не означают отказ GPU. Они просто означают, что что-то зависло, вышло из строя или превысило время ожидания, что заставило тренировочный процесс остановиться и откатиться к последней известной корректной контрольной точке.
*Meta утверждает, что за прошедший год ей удалось сократить количество сбоев на 99 процентов, до примерно 11 в день на 8000 GPU.
Одним из способов достижения этого стало поддержание части GPU Prometheus в резерве. В настоящее время кластер работает на комбинации систем GB200 и GB300, каждая из которых имеет 72 GPU на домен NVLink. Однако в любой момент времени используется только 64 из них. Остальные восемь фактически являются горячими резервами.
*Meta сделала это, потому что отказ одного GPU мог вывести из строя весь сервер и прервать тренировочный процесс. Теперь, когда GPU выходит из строя, один из резервных может быть установлен на его место. Хотя это экономит время — *Meta не приходится отключать весь сервер от кластера или ждать, пока кто-нибудь заменит неисправный компонент, чтобы возобновить обучение — отказ GPU все равно приведет к сбою, хотя и более короткому.
Параллельная отказоустойчивость
Чтобы смягчить это, *Meta воспользовалась тем фактом, что крупномасштабные тренировочные задачи обычно используют параллелизм данных, при котором несколько копий модели находятся в кластере.
“Когда сбой может быть изолирован до реплики модели, использующей параллелизм данных, мы уменьшаем влияние аппаратного сбоя, позволяя одной неисправной реплике быть отключенной, в то время как оставшаяся часть кластера повторяет этот шаг и продолжает продуктивное обучение”, — пояснили в *Meta. “Компрометированный фрагмент просто перезапускается на доступных резервных хостах и синхронизируется, превращая потенциальную полную остановку системы в незначительное, временное снижение общей пропускной способности”.
Другими словами, тренировочные процессы *Meta прерываются только в том случае, если сбой выходит за пределы домена параллелизма данных. Когда это происходит, компания внедрила комплексную схему контрольных точек, которую можно рассматривать как автосохранение или историю версий. Таким образом, если что-то выходит из строя, *Meta не приходится начинать все сначала.
“Наша архитектура распределенных контрольных точек асинхронно сохраняет состояние модели — включая градиенты и данные оптимизатора — в многоуровневом хранилище”, — написала компания.
Проблемы роста NVLink
*Meta заявляет, что одной из самых сложных задач было заставить NVLink-фабрики, используемые для соединения 72 GPU, вести себя как один большой ускоритель. Более ранние системы на базе H100 и H200 имели всего восемь GPU на домен NVLink, что означало, что соединения были намного короче и их было меньше. Но эта функциональность была расширена в девять раз с поколением Blackwell от Nvidia.
“При более чем 600 000 соединений NVLink даже незначительная деградация сигнала вызывает частые циклы восстановления NVLink”, — написала компания.
Чтобы преодолеть это, *Meta пришлось внедрить систему непрерывного сбора телеметрии и провести диагностические тесты L11 для изоляции слабых звеньев до ввода систем в эксплуатацию.
Энергопотребление было еще одной проблемой. Включение и выключение десятков тысяч GPU для тренировочного процесса может вызывать огромные скачки потребления энергии, называемые переходными процессами, которые могут перегрузить оборудование электропитания.
По данным *Meta, сосредоточившись на стабильности и надежности своего кластера, ей удалось достичь более 85 процентов “goodput” (показатель полезной пропускной способности) для предварительного обучения и более 90 процентов для обучения с подкреплением на своей последней модели Muse Wonder.
Амбиции компании на этом не заканчиваются. Работая над достижением миллиона GPU, *Meta надеется снизить частоту сбоев до двух в день на каждые 8000 GPU, или примерно до 100 000 GPU-часов среднего времени между сбоями. ®
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann
