Не все хотят запускать локальный ИИ на своих ПК. Но если вы хотите, возникает серьезная проблема. Большинство сложных моделей не могут уместиться в ограничениях памяти и хранилища вашего ПК. Phison и Intel работают над решением.
Используя решение aiDAPTIV от Phison, модель ИИ с 26 миллиардами параметров можно запустить на ноутбуке с 16 ГБ оперативной памяти, тогда как обычно требуется 32 ГБ. Это дает два преимущества: локальный ИИ становится доступен большему числу ноутбуков, а более мощные ноутбуки могут загружать еще более крупные модели или выполнять отдельные задачи параллельно с ИИ. На ПК ИИ может монополизировать системные ресурсы, не позволяя выполнять никакую другую работу. Иногда это может вынудить пользователя приобрести специализированный ИИ-ПК.
Это простое решение для повышения производительности, позволяющее либо запускать более крупные модели ИИ на ПК, либо освобождать ноутбук для других задач.
Заканчивается место
Часть аппаратной проблемы ИИ заключается в том, что ему необходимо вычислять токены, будь то для чего-то столь же простого, как запрос LLM на стихотворение, или для более сложного набора инструкций по мониторингу цен на нефть и прогнозированию. В любом случае токены генерируются на лету внутри видеопамяти. (Традиционно Intel выделяла половину системной оперативной памяти ноутбука между интегрированным графическим процессором и Windows, прежде чем позволить потребителям вручную настраивать распределение в августе 2025 года.)
Проблема в том, что по мере того, как пользователь продолжает общаться с LLM, ей необходимо помнить исходные инструкции запроса, а также обновления. Их можно пересчитать снова или сохранить в качестве справки. Проблема в том, что функции ИИ обычно обрабатываются в видеопамяти или системной оперативной памяти, которая разделяется с графическим процессором. Результат? Все замедляется.
Поскольку вычисления функций ИИ происходят в оперативной памяти, изъятие ее части для «хранения» данных снижает ее эффективность.
Но есть решение, и оно вам, вероятно, уже знакомо. Microsoft Word работает на центральном процессоре вашего ПК и использует для этого оперативную память, но документы хранятся в облаке или на SSD. Если Word нужен документ, он запрашивает у Windows извлечение его с вашего SSD. Phison делает нечто подобное.
aiDAPTIV от Phison использует высокопроизводительную флеш-память NAND с экстремальной износостойкостью в качестве кэша ИИ, сохраняя токены для последующего вызова. (Технически кэш хранит данные ключ-значение (KV), которые растут с длиной контекста и размером модели.) Обычно это замедлило бы весь процесс. aiDAPTIV пытается предвидеть потребности модели, интеллектуально пересылая данные между оперативной памятью и SSD, чтобы вы могли запускать более крупные модели без ущерба для производительности.
Phison
Сотрудничество сосредоточено на внедрении технологии Phison на платформах Intel AI PC на базе процессоров Intel Core Ultra, включая поддержку набора инструментов OpenVINO, заявили обе компании. Совместно Phison и Intel работают над демонстрацией технологии для поставщиков программного обеспечения, которые в конечном итоге смогут оптимизировать свои собственные приложения под эту технологию.
Конечно, при условии, что пользователи захотят запускать ИИ локально, а не в облаке с ChatGPT или Claude. Это также предполагает, что пользователи захотят запускать «полноценные» версии своих моделей ИИ, а не квантованные модели, которые жертвуют точностью ради меньших требований к памяти и более высокой скорости.
Мы уже проходили этот путь…
Концепция aiDAPTIV звучит достаточно просто, но есть потенциальная загвоздка. Совместная работа выполняется с использованием специализированных SSD-накопителей семейства Pascari AI100E от Phison, которые разработаны для высокой износостойкости и стабильной производительности. Это наводит на мысль, что успешная реализация может потребовать от производителя ноутбуков специально закупать SSD-накопители Pascari. На момент публикации 1 ТБ Pascari AI100E в конфигурации M.2 2280 стоит 2516 долларов в Best Buy.
Intel уже проходила этот путь. Optane, основанный на памяти 3D XPoint, был совершенно новым типом памяти, совместно разработанным Intel и Micron, и он больше походил на традиционную память, чем на флеш-память. Но отсутствие потребительского спроса вынудило Intel прекратить выпуск своих SSD Optane в 2021 году, а годом позже списать полмиллиарда долларов товарных запасов.
Четверть века назад я также освещал запуск, задержки и eventual demise Direct Rambus DRAM, в котором производителей памяти просили присоединиться к партнерству между Intel и Rambus по поводу определенного типа памяти для ПК. Хотя производители памяти публично согласились, в частном порядке они критиковали Rambus и ее лицензионные требования. Урок? Техническое преимущество — это одно, а принуждение к использованию одного поставщика или технологии — совсем другое. Посмотрим, как все это обернется.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Mark Hachman
