Поскольку устройства Apple оснащаются более быстрой памятью и используют двойные Neural Engines, это значительно улучшает их способность запускать более сложные ИИ-модели. Конечно, у всех продуктов есть свои ограничения, но компания заявляет, что ее iPhone и iPad способны запускать модели с 14 миллиардами активных параметров, а Mac могут превзойти все ожидания, запуская модели с триллионом параметров.
Кластер Mac Studio способен запускать ИИ-модели объемом более 1,6 ТБ, в то время как один Mac Studio едва достигает 500 млрд LLM
На диаграмме Apple перечислила ряд устройств и LLM, которые могут на них работать. Для самой маленькой ИИ-модели объемом 14 миллиардов активных параметров Apple рекомендует iPad или iPhone с 16 ГБ унифицированной памяти. Интересно, что компания упомянула пропускную способность памяти 76 ГБ/с для локального ИИ-инференса, хотя A20 Pro уже превышает этот предел с пропускной способностью 115,2 ГБ/с.
Что касается MacBook Air и Mac mini, которые могут поддерживать до 64 ГБ унифицированной памяти и обладают пропускной способностью до 307 ГБ/с, Apple заявляет, что эти машины могут запускать LLM с объемом до 70 миллиардов активных параметров. Топовые модели MacBook Pro поддерживают до 128 ГБ унифицированной памяти, и хотя они могут быть дорогими, они способны запускать ИИ-модели объемом 120 миллиардов параметров, как и ноутбуки RTX Spark с таким же объемом ОЗУ.
С Mac Studio ситуация становится серьезнее. Благодаря пропускной способности памяти до 1,2 ТБ/с, M5 Ultra может поддерживать до 512 ГБ унифицированной памяти, что позволяет комфортно хранить модели объемом до 480 миллиардов параметров. Для тех, кто не хочет платить ежемесячную абонентскую плату за ИИ-сервисы вроде Claude и Gemini, Mac Studio — это дорогой, но надежный вариант.
С четырехкластерной конфигурацией и общим объемом унифицированной памяти до 2 ТБ запуск моделей объемом 1,6 триллиона параметров не должен быть проблемой, но помните, что приобрести Mac Studio сейчас непросто. На момент написания статьи мы проверили онлайн-магазин Apple и обнаружили, что компания продает только вариант с 256 ГБ памяти, и в зависимости от города вашего проживания в США, срок доставки может составить 15-17 недель.
Мы также не забываем о нелепой цене в 10 700 долларов США, которую придется заплатить за версию M5 Ultra с 36-ядерным процессором, 80-ядерным графическим процессором, 32-ядерным Neural Engine и 1 ТБ SSD. Добавьте к этому три дополнительных модуля для четырехкластерной конфигурации, и общая сумма составит 43 196 долларов США, но это даже не приблизит вас к 1 ТБ унифицированной памяти.
Для запуска LLM объемом 1 ТБ потребуется 8-кластерная конфигурация, которая обойдется в 86 392 доллара США. Это огромная сумма денег только для запуска моделей с открытым весом, что делает ее контрпродуктивной, если вы хотите получить максимальную отдачу от работы с передовыми ИИ-моделями. Мы также хотели бы отметить, что, хотя Apple проделала неплохую работу, помогая пользователям, желающим выполнять локальный инференс, компания не предоставила примеров LLM для запуска и того, насколько квантованную версию каждое устройство сможет поддерживать.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Omar Sohail
