Энергоемкие графические процессоры и дорогие подписки на облачные API — это стандарт при работе с большими языковыми моделями (LLM), но периферийные вычисления требуют совершенно иного подхода. Большинству пользователей не нужны массивные серверные стойки только для выполнения локальных задач компьютерного зрения или обнаружения объектов, и именно здесь на помощь приходит такое оборудование, как DX-M1 от DFRobot. Требуя всего один слот M.2 на материнской плате, этот ИИ-ускоритель обеспечивает серьезную вычислительную мощность для инференса в стандартном разъеме для хранения данных, при этом его стоимость составляет всего 139 долларов.
DX-M1 — это исключительно ускоритель инференса, поэтому не ожидайте запуска ИИ-моделей на 70B или даже 27B с его скромными 4 ГБ оперативной памяти LPDDR5
Несмотря на тот же форм-фактор, что и новейшие SSD PCIe NVMe Gen 5, этот модуль ИИ-ускорителя обеспечивает достойные 25 TOPS вычислений INT8 при потреблении всего от 2 Вт до 5 Вт. Короче говоря, вы даже не почувствуете увеличения счетов за электроэнергию, когда будете развертывать непрерывные локальные ИИ-нагрузки на мобильной робототехнике или компактных установках, не сталкиваясь с шумными системами охлаждения или сильным тепловым троттлингом.
Под капотом оборудование настроено на работу полностью независимо от основной системной оперативной памяти машины благодаря 4 ГБ встроенной оперативной памяти LPDDR5, которая выделена для загрузки весов нейронных сетей, а также 1 Тбит (128 ГБ) QSPI NAND Flash для стабильности прошивки и локального хранения скомпилированных моделей.
Все взаимодействие осуществляется через интерфейс PCIe Gen 3, при этом DX-M1 поддерживает такие фреймворки, как PyTorch, TensorFlow, TensorFlow Lite и ONNX через входящий в комплект SDK DXNN. Эта гибкость позволяет пользователям беспрепятственно компилировать такие модели, как YOLO или MobileNet. Однако, как упоминалось выше, этот модуль ИИ-ускорителя не должен вас волновать, если вы одержимы запуском локальных LLM.
4 ГБ памяти — это слишком мало, поэтому вам придется сохранять реалистичные ожидания относительно того, что на самом деле может предоставить периферийный NPU. Это исключительно ускоритель инференса, предназначенный для анализа видео в реальном времени, навигации роботов и визуального контроля, а не волшебная палочка, которая позволит вам обучать модели машинного обучения или запускать локально большие языковые модели с 70 миллиардами параметров.
Еще одним недостатком является то, что вы также не можете использовать его встроенное хранилище для обычного хранения операционной системы, что означает, что если вы планируете установить его в свободный слот M.2, вы упустите возможность обновить свое хранилище стандартным накопителем NVMe. Тем не менее, для энтузиастов и разработчиков, занимающихся автоматизированными видеопотоками, визуальным обнаружением или локальной робототехникой, которые отказываются подавать огромное количество энергии на простаивающий графический процессор рабочей станции, эта M.2 карта стоимостью 139 долларов выглядит отличной альтернативой.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Omar Sohail
