Qualcomm открыла для избранных клиентов облачные испытания своей масштабируемой системы инференса Dragonfly AI200 через Cirrascale Cloud Services.
Dragonfly AI200 — это предложение Qualcomm для запуска больших языковых, мультимодальных и других ИИ-моделей без энергопотребления и эксплуатационных расходов, сопоставимых с решениями Nvidia.
Клиенты теперь могут проверить, насколько эффективны эти решения, в облаке Cirrascale AI Innovation Cloud с возможностью последующего развертывания в производственной среде, сообщает Qualcomm. Cirrascale также продемонстрировала систему на выставке SC26 в Чикаго 17–18 ноября.
AI200 является частью линейки датацентровых решений Dragonfly от Qualcomm, которая также включает ускорители AI250 и AI300, а также серверный процессор C1000. Компания изложила свои более широкие амбиции на своем Дне инвестора в июне.
Каждая карта ускорителя AI200 оснащена 768 ГБ памяти LPDDR, а 56 карт обеспечивают около 43 ТБ в жидкостном охлаждаемом стеке. Qualcomm заявляет, что система поддерживает модели с числом параметров от 7 миллиардов до 10 триллионов, включая модели с длинным контекстом, генерацию с дополненным поиском (RAG) и агентные рабочие нагрузки.
Как мы ранее отмечали, большое количество памяти не обязательно означает соответствие производительности Nvidia. Системы NVL72 на базе Blackwell используют быстрые и дорогие стеки HBM3e, в то время как Qualcomm выбрала LPDDR, более распространенную в мобильных устройствах.
«Инференс ИИ становится одной из самых масштабных и важных вычислительных нагрузок в датацентрах, и индустрии нужен более эффективный подход», — заявил Тони Пиалис, исполнительный вице-президент и генеральный менеджер подразделения датацентров Qualcomm.
Он утверждал, что AI200 использует опыт компании в области высокопроизводительных вычислений с низким энергопотреблением в инфраструктуре масштаба стойки, в архитектуре, разработанной с учетом требований к производительности, памяти и стоимости для рабочих нагрузок инференса.
«Нашим клиентам нужна эффективная, масштабируемая инфраструктура, способная поддерживать все более сложные модели, не позволяя затратам на электроэнергию и эксплуатацию стать ограничивающим фактором», — сказал генеральный директор Cirrascale Дэйв Дриггерс.
«Работая с Qualcomm, мы можем предоставить клиентам доступ для оценки новой привлекательной архитектуры, специально разработанной для следующего поколения инференса ИИ».
Чип-производитель также имеет собственный программный стек, Dragonfly AI Infrastructure Management Suite, для подготовки, мониторинга, оркестрации рабочих нагрузок и обработки сбоев в развертываниях масштаба стойки. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Dan Robinson




