Neural Engine в чипсетах Apple, таких как M4, доступен только для инференса (Inference), что позволяет разработчикам запускать предварительно обученные модели ИИ, но не обучать новые. К счастью, одному энтузиасту, по всей видимости, удалось провести обратную разработку SoC, обойдя программные ограничения, сохранив все в оперативной памяти (RAM), что обеспечило невероятно плавную и быструю работу.
Еще более впечатляющим в этом достижении является то, что раскрытие истинного потенциала M4 стало возможным без таких инструментов, как CoreML и Meta*l
В X пользователь @0x0SojalSec поделился кодом в репозитории GitHub, демонстрирующим, как была раскрыта истинная мощь M4. Поскольку Apple не предоставляет никакого уровня разрешений для взаимодействия с этими чипсетами, этому человеку удалось наладить связь с M4, не используя никаких инструментов Apple, таких как CoreML, Meta*l, или задействуя графический процессор (GPU). Вместо этого достижение было реализовано с использованием специально разработанного с нуля промежуточного языка моделей (MIL — Model Intermediate Language).
Поскольку аппаратное обеспечение «заблокировано», пришлось применить некоторые хитрые методы. Например, когда процесс зависает и требует перезагрузки для продолжения обучения, пользовательский MIL использует команду «exec()» для «перезапуска с целью продолжения обучения». Это помогает программе обновить свое текущее состояние, чтобы она могла продолжать обучение без сбоев.
Чтобы ускорить процесс, @0x0SojalSec утверждает, что разблокировка M4 была произведена полностью без записи во флеш-память NAND, что было бы медленнее. Поскольку все записывалось в RAM, это было молниеносно быстро. Преодолев программные ограничения, M4 в iPad или Mac может достигать производительности обработки ИИ в 15,8 TFLOPS, чего достаточно для обучения модели ИИ без необходимости приобретать дорогостоящий компьютер или непомерно дорогую графическую карту NVIDIA.
Учитывая, что это достижение было реализовано на M4, можно представить уровень производительности, который может быть раскрыт в M5. К сожалению, мы не можем подтвердить, можно ли использовать тот же пользовательский MIL на более новых Apple Silicon и будет ли команда exec() работать должным образом на новой платформе. Будем надеяться, что мы снова увидим этот код в действии. Если вы хотите попробовать, перейдите по ссылке ниже и поделитесь своими мыслями в комментариях.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Omar Sohail
