Компания Raspberry Pi представила плату AI HAT+ 2, оснащенную 8 ГБ оперативной памяти и нейросетевым акселератором Hailo-10H, ориентированным на локальные вычисления с использованием искусственного интеллекта.
На бумаге характеристики выглядят впечатляюще. Плата AI HAT+ 2 обеспечивает производительность инференса на уровне 40 TOPS (INT4). Микросхема Hailo-10H разработана для ускорения работы больших языковых моделей (LLM), визуальных языковых моделей (VLM) и «других генеративных ИИ-приложений».
Производительность в области компьютерного зрения примерно соответствует показателю в 26 TOPS (INT4) предыдущей модели AI HAT+.
Эти компоненты и 8 ГБ встроенной оперативной памяти должны снять нагрузку с хост-платы Pi, поэтому, если вам нужен сопроцессор для ИИ, вам не придется исчерпывать память самой Pi (хотя об этом мы поговорим позже).
Аппаратное обеспечение подключается к разъему GPIO платы Pi (для тестирования мы использовали модель Pi 5 с 8 ГБ памяти) и взаимодействует через интерфейс PCIe компьютера, как и её предшественник. Плата поставляется с «опциональным» пассивным радиатором — вам определенно понадобится какое-либо охлаждение, поскольку чипы сильно греются. Также в комплекте идут стойки и винты для крепления платы к Raspberry Pi 5 с установленным активным кулером компании.
AI HAT+ 2 на Raspberry Pi 5
Запуск осуществляется простым скачиванием свежей версии операционной системы Raspberry Pi OS и установкой необходимых программных компонентов. Аппаратное обеспечение ИИ нативно поддерживается приложениями rpicam-apps.
В работе плата показала себя хорошо. Мы использовали комбинацию Docker и сервера hailo-ollama, запустив модель Qwen2, и не столкнулись с проблемами при локальной работе на Pi.
Однако, хотя 8 ГБ встроенной памяти выглядят привлекательно в заголовках, этого кажется маловато, учитывая ненасытный аппетит ИИ-приложений к памяти. Кроме того, можно заказать Pi 5 с 16 ГБ оперативной памяти за дополнительную плату.
И затем — компьютерное зрение, производительность которого соответствует прежним 26 TOPS (INT4) у AI HAT+. Для пользователей, которым нужны задачи обработки изображений, сложно рекомендовать AI HAT+ 2 за $130 вместо существующей AI HAT+ или даже AI-камеры за $70.
Там, где требуются рабочие нагрузки LLM, память на плате AI HAT+ 2 снизит нагрузку (хотя просто покупка Pi с большим объемом памяти — это вариант, который стоит рассмотреть). По данным Raspberry Pi, на старте будут доступны модели DeepSeek-R10-Distill, Llama3.2, Qwen2.5-Coder, Qwen2.5-Instruct и Qwen2. Все они (кроме Llama3.2) являются моделями с 1,5 миллиардами параметров, и компания заявила, что в будущих обновлениях появятся более крупные модели.
Масштабы моделей, конечно, сильно уступают тем, что используют облачные гиганты (Raspberry Pi признает, что «облачные LLM от OpenAI, *Meta и Anthropic насчитывают от 500 миллиардов до 2 триллионов параметров»). Тем не менее, учитывая стремление устройства к работе на периферии (edge), эти модели хорошо вписываются в аппаратные ограничения.
Это подводит нас к вопросу: для кого это оборудование предназначено? Промышленные задачи, требующие только компьютерного зрения, могут обойтись предыдущей платой AI HAT+ с 26 TOPS. Однако для задач, требующих LLM или другой генеративной ИИ-функциональности, но с необходимостью сохранения локальной обработки, AI HAT+ 2 может быть достойным рассмотрения. ®
*Facebook, *Instagram и *WhatsApp принадлежат компании Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Richard Speed
