Стремясь предоставить своим сотрудникам лучший доступ к ресурсам графических процессоров для задач инференса, Apple собрала свои Minions — не анимационных желтых существ, а распределенную систему, которая задействует неиспользуемые графические процессоры на компьютерах Mac для выполнения рабочих нагрузок искусственного интеллекта.
Исследователи Apple описывают ее как «динамичное и распределенное виртуальное облако GPU, которое агрегирует неиспользуемые графические процессоры Apple Silicon на устройствах macOS для выполнения крупномасштабных рабочих нагрузок инференса машинного обучения».
Исследователи Apple заявили, что компания использует Minions для обеспечения более легкого доступа к вычислительным мощностям GPU для своих команд.
«До его внедрения некоторые задачи инференса ожидали в очереди более десяти часов из-за ограниченной доступности централизованных GPU», — объясняется в статье о Minions. «С Minions задачи часто могут начать выполняться в течение нескольких минут за счет использования неиспользуемых устройств macOS».
Недавно выпущенные Mac mini и Mac Studio от Apple поддерживают кластеризацию с использованием RDMA (Remote Direct Memory Access) через Thunderbolt 5, что позволяет объединять вычислительные ресурсы и память для поддержки единой рабочей нагрузки ИИ. Это позволяет, например, загружать модель, слишком большую для одного компьютера.
Minions предназначен для создания виртуального облака GPU из подключенного оборудования Mac, чтобы сформировать отказоустойчивый пул исполнителей инференса на общей распределенной платформе инференса. Таким образом, вместо того чтобы простаивать, ресурсы GPU могут быть более оперативно использованы командами в сети. Система предназначена не столько для запуска больших моделей, сколько для перераспределения неиспользуемых ресурсов в сети.
Minions состоит из четырех основных компонентов: Minion Server, PostgreSQL *Metadata Store, Minion Executor и Minion Watchdog.
Minion Server обеспечивает уровень координации, получая запросы пользователей и разбивая их на подзадачи. Minion Executor выполняет задачи инференса на графическом процессоре Mac, загружает результаты в S3 и сообщает о статусе выполнения через Minion Server, который хранит метаданные задач в PostgreSQL. Minion Watchdog отслеживает этот процесс на предмет сбоев — например, если один из Mac в сети перестает отвечать — и при необходимости переназначает задачи.
Статистика базы данных передается на панели мониторинга на основе Grafana для обеспечения видимости в реальном времени.
Подход Apple, ориентированный на доступность и утилизацию оборудования, отличается от кластера Nvidia, который фокусируется на пропускной способности, задержке и эффективном использовании GPU для больших моделей. ®
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
