Впервые в истории Apple Silicon чип A20 Pro оснащен двухъядерным 16-ядерным Neural Engine, разработанным для решения задач ИИ, как ни один другой SoC до него. Это обновление, которое, казалось бы, было необязательным, оказалось абсолютно необходимым для запуска локальных ИИ-моделей на смартфоне. В последней демонстрации iPhone 18 Pro запускает модель с 27 миллиардами параметров вдвое быстрее, чем iPhone 17 Pro.
Двухъядерный 16-ядерный Neural Engine действительно быстрее генерирует токены, но из-за ограниченной конфигурации памяти 2-битные квантованные ИИ-модели слишком велики для запуска на iPhone 18 Pro
Учитывая, что iPhone 18 Pro и iPhone 18 Pro Max оснащены 12 ГБ 96-битной LPDDR5X ОЗУ, значительно превосходящей конфигурацию iPhone 17 Pro и iPhone 17 Pro Max, это обновление и двухъядерный 16-ядерный Neural Engine выводят производительность локальных ИИ-моделей на новый уровень. Адриен Грондин демонстрирует эти преимущества, запуская Bonsai 27B на iPhone 18 Pro, и вы можете наглядно увидеть, насколько высокой является скорость генерации токенов.
Конечно, это значительный шаг для iPhone в плане запуска более объемных ИИ-моделей на 27 миллиардов параметров без подключения к интернету, но есть и некоторые компромиссы, с которыми столкнутся пользователи. Во-первых, в посте X упоминается: зачем продолжать использовать Bonsai после выхода Bonsai 2? Ответ разочаровывает, но такова суровая реальность запуска ИИ-моделей на смартфонах: Bonsai 2 с 2-битной квантизацией слишком велик, чтобы поместиться локально на iPhone 18 Pro, что приводит к снижению производительности.
Поскольку Bonsai является 1-битной квантованной ИИ-моделью, он без проблем работает на устройствах с 4 ГБ ОЗУ, а на телефонах с 8 ГБ или даже 12 ГБ памяти он будет работать на полную мощность. На iPhone 18 Pro, оснащенном не только A20 Pro, но и исключительно быстрой памятью, общей пропускной способностью памяти 115,2 ГБ/с и двухъядерным 16-ядерным Neural Engine, пиковая пропускная способность которого в специализированных рабочих нагрузках для NPU выше, чем у 7-ядерного GPU SoC, Bonsai 27B не будет замедляться.
Надеемся, что когда Apple перейдет к более крупным конфигурациям памяти в будущих выпусках, мы увидим поддержку более объемных моделей.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Omar Sohail
