SK hynix, TetraMem и исследователи из Университета Южной Калифорнии разработали систему-на-кристалле (SoC) на основе мемристоров для in-memory computing (IMC), предназначенную для AI-устройств на периферии. Устройство создано для ускорения инференса нейронных сетей в легковесных моделях ИИ, потребляя при этом долю энергии, необходимой высокопроизводительным GPU или NPU. В значительной степени этот SoC является концептуальным чипом, так как его производительность в теоретическом лучшем случае достигает примерно 2,54 TOPS, что в 16 раз ниже требований Microsoft Copilot+.
In-memory computing (IMC) на мемристорах ускоряет нейронные сети, выполняя аналоговые вычисления непосредственно внутри массивов памяти, что снижает перемещение данных и энергопотребление. Однако depthwise convolution (DWC) — ключевая операция в легковесных сетях, таких как MobileNet, — выполняет независимую поканальную фильтрацию с ограниченным повторным использованием данных и поэтому плохо отображается на традиционные crossbar-массивы. Для решения этой проблемы исследователи из SK hynix, TetraMem и USC разработали SoC, который включает как стандартные IMC crossbar-массивы, так и архитектуру IMC на мемристорах, специально оптимизированную для DWC.
Совместно разработанный SoC основан на встроенном процессоре RISC-V, который планирует рабочие нагрузки, и включает 10 нейронных процессорных блоков (NPU). Один из 10 NPU выделен для depthwise convolution, а остальные девять выполняют pointwise и плотные операции. Девять из 10 NPU содержат crossbar-массив 256 × 256 на мемристорах для аналогового умножения вектора на матрицу (VMM), 256 8-битных ЦАП, преобразующих цифровые активации в аналоговые напряжения, 256 8-битных АЦП, преобразующих аналоговые выходы обратно в цифровые значения, и дополнительную периферийную схему для чтения, записи, программирования и управления crossbar-массивом.
NPU, оптимизированный для DWC, заменяет свой стандартный массив на восемь специализированных zig-zag crossbar-блоков размером 252 × 28, но сохраняет ЦАП и АЦП. SK hynix разработала и изготовила мемристорные устройства и интегрировала ячейки с резистивным переключением поверх 65-нм КМОП-схем с использованием своего back-end процесса.
Этот оптимизированный для DWC NPU является ключевой особенностью всего SoC. Для ускорения depthwise convolution компания TetraMem заменила прямые линии выбора, используемые в стандартных 1T1R crossbar-массивах, на топологию zig-zag. В результате NPU содержит восемь crossbar-блоков 252 × 28, диагональные линии выбора которых активируют 252 ячейки памяти в 28 столбцах, что позволяет выполнять 28 независимых сверток 3 × 3 параллельно, используя 100% массива для хранения весов. Остальные девять NPU сохраняют стандартные 1T1R crossbar-массивы для pointwise-слоев 1×1 и плотных слоев, обеспечивая пропускную способность и энергоэффективность традиционного in-memory computing.
Для демонстрации архитектуры исследователи развернули пользовательскую нейронную сеть MobileNetV1Small для теста Visual Wake Words. Сеть содержит около 36 000 параметров; все depthwise-слои были отображены на выделенный NPU, а pointwise-слои — на остальные NPU.
Поскольку оборудование IMC на мемристорах изначально выполняет беззнаковое аналоговое умножение вектора на матрицу, входные данные и веса перед выполнением квантуются до беззнаковых 8-битных значений. Так как каждый мемристор может быть запрограммирован с эффективной точностью лишь немногим более 2 бит, в конструкции используется метод компенсации с двумя подмассивами, повышающий эффективную точность весов примерно до 4 бит.
Концептуально этот подход несколько аналогичен философии NVFP4 от Nvidia: оба стремятся достичь более высокой эффективной точности от низкоточного оборудования. Однако реализации принципиально различаются: NVFP4 опирается на цифровое представление с плавающей запятой и масштабирующие коэффициенты, тогда как SoC на мемристорах повышает точность за счет компенсации аналоговых ошибок программирования с помощью двух запрограммированных подмассивов.
Что касается точности, SoC достиг точности сквозного инференса в 80,36%, что соответствует соответствующей 4-битной программной модели. Что касается производительности, SoC обеспечивает пиковую пропускную способность 0,254 TOPS на NPU и достигает энергоэффективности 21,3 TOPS/Вт при 100 МГц и 11,9 TOPS/Вт при 400 МГц. По утверждению авторов, это выгодно отличается от опубликованных SRAM-ускорителей compute-in-memory, несмотря на изготовление по более старому 65-нм техпроцессу. В совместной статье утверждается, что SoC также превышает энергоэффективность Nvidia A100 INT8 на порядок. Однако эти утверждения в значительной степени необоснованны.
Во-первых, демонстрация MobileNet даже не использует все 10 NPU. Она использует один выделенный DWC NPU, пять стандартных NPU для pointwise-слоев и оставляет четыре стандартных NPU простаивающими. Таким образом, демонстрация не раскрывает общую пропускную способность SoC (TOPS), устойчивую пропускную способность при работе реальной сети и пропускную способность при одновременной загрузке всех 10 NPU. Фактически, в статье даже не раскрывается, могут ли все 10 NPU использоваться одновременно. В связи с этим упомянутый ранее показатель в 2,54 TOPS является крайне теоретическим.
SK hynix, TetraMem и исследователи из Университета Южной Калифорнии разработали SoC для IMC на мемристорах с новым ускорителем depthwise convolution, который улучшает использование crossbar-массивов для легковесных AI-нагрузок. Партнерам удалось изготовить его по устаревшей 65-нм технологии и заставить работать, достигнув энергоэффективности 21,3 TOPS/Вт и точности инференса, сравнимой с 4-битной программной моделью, несмотря на то, что мемристоры могут быть запрограммированы с точностью около 2 бит. Хотя архитектура подтверждает работоспособность подхода, в статье не раскрывается полная производительность SoC, и неясно, можно ли вообще загрузить все 10 NPU чипа.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anton Shilov
