Компания Huawei представила Flex:ai, инструмент оркестровки с открытым исходным кодом, разработанный для повышения коэффициента использования AI-чипов в крупных вычислительных кластерах. Платформа, представленная в пятницу, 21 ноября, построена на базе Kubernetes и будет выпущена через сообщество разработчиков Huawei ModelEngine. Ее появление связано с продолжающимися экспортными ограничениями США на высокопроизводительное GPU-оборудование и отражает растущий в Китае сдвиг в сторону повышения эффективности программного обеспечения как временной меры для ограничения поставок кремния.
Помимо того, что Flex:ai, как утверждается, поможет Китаю “…создать аналоговый AI-чип в 1000 раз быстрее, чем чипы Nvidia”, Huawei заявляет, что Flex:ai может повысить средний коэффициент использования примерно на 30%. Сообщается, что это достигается путем разделения отдельных GPU или NPU-карт на несколько виртуальных вычислительных экземпляров и организации рабочих нагрузок на гетерогенных типах оборудования.
Небольшие задачи, которые в противном случае могли бы не полностью использовать ускоритель, объединяются друг с другом, а более крупные модели, превышающие возможности одного устройства, могут охватывать несколько карт. Инструмент включает в себя интеллектуальный планировщик под названием Hi Scheduler, который перераспределяет простаивающие ресурсы по узлам в режиме реального времени, автоматически переназначая вычисления туда, где находятся AI-нагрузки в очереди.
Архитектура Flex:ai построена на существующих основах Kubernetes с открытым исходным кодом, но расширяет их способами, которые все еще не распространены в открытых развертываниях. Kubernetes уже поддерживает плагины устройств для предоставления ускорителей и планировщиков, таких как Volcano, или фреймворки, как Ray, могут выполнять дробное распределение и групповое планирование. Flex:ai, похоже, объединяет их на более высоком уровне, интегрируя поддержку Ascend NPU наряду со стандартным GPU-оборудованием.
Запуск напоминает функциональность, предлагаемую Run:ai, платформой оркестровки, которая обеспечивает многопользовательское планирование и вытеснение рабочих нагрузок в крупных GPU-кластерах. Версия Huawei, по крайней мере, на бумаге, делает аналогичные заявления, но с акцентом на развертывание с открытым исходным кодом и совместимость между ускорителями. Это может придать ей более широкую актуальность в кластерах, построенных на китайском кремнии, особенно в тех, которые используют чипы Ascend.
Код с открытым исходным кодом еще не выпущен, и Huawei не опубликовала документацию. Когда он станет доступен, ключевые вопросы будут включать в себя степень детализации сегментирования, то, как Flex:ai взаимодействует со стандартными планировщиками Kubernetes, и, что крайне важно, поддерживает ли он широко используемые типы GPU через стандартные плагины. Компания заявила, что в разработку инструмента внесли вклад исследователи из Шанхайского университета Цзяо Тун, Сианьского университета Цзяотун и Сямэньского университета.
Автор – Luke James
