Всего через несколько недель после того, как AMD заключила сделку с Cerebras для повышения производительности инференса в готовящейся к выпуску стойковой системе Helios, она приобрела Taalas — стартап, разрабатывающий чипы специально для рабочих нагрузок, связанных с инференсом.
Taalas «впекает» модели ИИ прямо в кремниевые чипы, и AMD только что подписала окончательное соглашение о его приобретении
AMD только что подписала соглашение о приобретении Taalas, шаг, призванный дополнить ее системы Helios. Для тех, кто не в курсе, Taalas устраняет так называемый «барьер памяти» — все более распространенную ситуацию, когда графические процессоры простаивают в ожидании поступления нужных данных для начала вычислений — путем «прошивки» заданной модели ИИ непосредственно в отдельные транзисторы, благодаря собственной цифровой архитектуре, способной хранить 4 бита данных и выполнять математические операции с помощью одного транзистора.
По сути, чип Taalas HC1 содержит общие аппаратные блоки, которые постоянно и непрерывно предвычисляют все 16 возможных произведений для квантованного 4-битного веса модели. Поскольку каждый возможный математический результат уже «вживую» присутствует на чипе, отдельный транзистор фактически не выполняет никаких вычислений, а действует как физический маршрутизатор.
Если подробнее, то каждый конкретный вес модели ИИ здесь представлен одним транзистором типа ‘Mask ROM’ — в процессе производства микроскопический физический провод (маска металлического слоя) вытравливается так, чтобы физически соединить этот транзистор с одной из 16 предварительно вычисленных линий произведений. Когда данные проходят через чип, транзистор просто выбирает правильный предварительно рассчитанный математический канал и передает его сумматору. Таким образом, чип HC1 от Taalas способен генерировать ошеломляющие от 16 000 до 17 000 токенов в секунду на пользователя, используя эту конфигурацию.
Этот подход чем-то напоминает Groq LPU, который использует небольшие изолированные пулы SRAM, где веса моделей ИИ «запекаются» непосредственно в SRAM, полностью обходя концепцию кэш-памяти.
Решение AMD приобрести Taalas дополняет ее интеграцию системы Helios с Wafer-Scale Engine от Cerebras, которая размещает память и вычислительные мощности целого суперкомпьютера для ИИ на одном гигантском взаимосвязанном листе кремния, где сотни тысяч вычислительных ядер и десятки гигабайт SRAM бесшовно соединяются, позволяя данным перемещаться эффективно, никогда не сталкиваясь с внешними сетевыми узкими местами.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rohail Saleem
