Полностью избежать генеративного ИИ при взаимодействии с технологиями сегодня уже невозможно, но у Apple его будет несколько меньше. Впрочем, это не совсем их выбор. Производитель iPhone неоднократно откладывал выпуск Siri с улучшенным ИИ с момента первого анонса в 2024 году, но соглашение с Google объединит культового ассистента с Gemini позднее в этом году. По мере приближения Всемирной конференции разработчиков (Worldwide Developers Conference) Apple работает над тем, чтобы привнести мощный интеллект ИИ в скромные вычислительные возможности смартфона. Однако результат может не понравиться поклонникам Apple.
Apple долгое время хвасталась ценностью конфиденциальности, которую обеспечивает запуск ИИ локально, но новый отчет предполагает, что, несмотря на все усилия Apple, обновленная Siri на базе Gemini будет в значительной степени зависеть от Google и Nvidia в облаке. The Information сообщает, что Siri с интегрированным Gemini будет работать как на устройстве, так и в облаке, что является очевидным отступлением от предпочтения локального ИИ, ориентированного на конфиденциальность.
При каждом анонсе нового чипа мы слышим о том, как кремний оптимизирован для ИИ — даже Apple делает это, уделяя внимание обновлениям Neural Engine. Можно подумать, что смартфоны оснащены для работы с мощными моделями ИИ, но это не всегда так. Фактически, графические процессоры в большинстве телефонов могут обрабатывать больше токенов ИИ, чем специализированные NPU. Компоненты, такие как Apple Neural Engine, предназначены для контекстной, эффективной обработки ИИ. Даже если бы телефоны имели более быструю обработку ИИ, им не хватает оперативной памяти для хранения огромных моделей.
Даже самые большие модели ИИ остаются посредственными ассистентами, что делает локальный ИИ очень сложной задачей. Модели ИИ, работающие на телефонах, физически меньше и содержат максимум несколько миллиардов параметров. Для сравнения, последние модели Gemini от Google, по данным The Information, имеют триллионы параметров. Модели ИИ на устройстве также «квантуются» для работы с более низкой точностью, что делает их быстрее, но влияет на точность генерации токенов. Все это приводит к тому, что ИИ кажутся менее умными, чем их облачные собратья, и даже большие облачные модели иногда могут быть довольно глупыми.
Удивительный, сжимающийся Gemini
У Google есть версии Gemini, оптимизированные для мобильных устройств, которые они называют Gemini Nano. Однако они предназначены для обеспечения контекстных функций, таких как Magic Cue и аудио-суммирование. Siri, с другой стороны, должна быть разговорным ассистентом — вы разговариваете с ней, и она выполняет действия. Это другой опыт, требующий иного типа модели. На Android Google даже не пытается делать это локально. Разговор с Gemini всегда направляется напрямую в облако.
,
После заключения сделки с Google Apple, по-видимому, приступила к работе по дистилляции больших облачных моделей Gemini от Google. Дистилляция — это процесс, при котором небольшая, менее ресурсоемкая модель учится имитировать большую и дорогую. При достаточном количестве времени это может надежно передать полезные возможности, отсекая менее важные веса от модели. Это может позволить Siri обрабатывать некоторые задачи с использованием частных локальных вычислений, но облачный компонент выглядит неизбежным.
Обработка данных ИИ пользователей в облаке может стать проблемой для Apple. На WWDC компания, вероятно, будет продвигать свой многолетний опыт в разработке чипов и то, как это позиционирует ее для ИИ. Однако The Information утверждает, что Apple с трудом добилась даже запуска массивных недистиллированных моделей Gemini от Google на своей собственной инфраструктуре Private Cloud Compute, построенной на чипах M-серии Mac.
Когда появится более умная Siri, она, вероятно, будет перенаправлять более сложные задачи в облачную инфраструктуру Google, а не Apple, но работать это будет не на TPU Google. Сообщается, что Apple заключила сделку с Nvidia на использование ее платформы Confidential Computing для этой цели. Confidential Computing сохраняет данные зашифрованными на графических процессорах Nvidia во время их обработки в облаке, что может помочь Apple заявить, что она по-прежнему чувствительна к проблемам конфиденциальности пользователей. Возможно, она даже сохранит собственный бренд Private Cloud Compute для этой системы.
iPhone, вероятно, не будет сообщать вам, какая версия Gemini обрабатывает отдельные запросы Siri. Производители устройств, разрабатывающие гибридные системы, которые полагаются на локальный и облачный ИИ, любят говорить о том, что опыт ощущается «бесшовным». Однако могут быть намеки.
Мы все знакомы с медлительностью больших моделей ИИ, которые могут долго генерировать токены. Полностью зашифрованные вычисления Nvidia Confidential Compute замедляют обработку по сравнению с другими вариантами ИИ. Пользователи могут заметить это сильнее, когда Siri приходится обращаться к удаленному серверу, но локальный ИИ даст вам не так много, когда лучшие модели могут работать только на серверах стоимостью в миллионы долларов.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ryan Whitwam
