Сообщается, что Anthropic, создатели Claude AI, ведут предварительные переговоры с британским стартапом, чья технология SRAM может увеличить скорость инференса ИИ в 100 раз и снизить затраты в 10 раз.
Anthropic Ведет Предварительные Переговоры с Fractile — Британским Стартапом, Разрабатывающим Архитектуру Fusion для Ускорения Инференса ИИ
В настоящее время Anthropic закупает чипы у различных компаний, включая NVIDIA, Google и Amazon. Это трио позволяет компании поддерживать работу своей ИИ-инфраструктуры без серьезных проблем, часто связанных с зависимостью от одного производителя чипов. Однако по мере роста спроса на вычислительные мощности в сфере ИИ многие компании, занимающиеся искусственным интеллектом, теперь рассматривают возможность инвестирования в собственные чипы, соответствующие их требованиям.
Согласно недавнему сообщению The Information, Anthropic находится на ранней стадии переговоров с британским стартапом под названием Fractile. Fractile привлекает внимание в сфере ИИ благодаря своей новой технологии, которую компания называет Архитектурой Слияния Вычислений и Памяти (Memory Compute Fusion Architecture).
Архитектура работает за счет уменьшения объема данных, передаваемых в DRAM, снижения зависимости от внешней памяти и выполнения всех операций с данными внутри самого чипа. Для этого компания разработала собственную технологию SRAM, аналогичную LPU (Language Processor Unit) Groq от NVIDIA или Groq 3 LPX.
Приобретение Groq компанией NVIDIA позволило ей интегрировать новейшие LPU в свою будущую экосистему Vera Rubin. Эти чипы выступают в роли бустера инференса ИИ, что достигается за счет интеграции большого объема SRAM и сверхвысокой пропускной способности для масштабирования (scale-in и scale-up).
Таким образом, сама NVIDIA называет Groq 3 LPU акселератором инференса, содержащим 500 МБ SRAM, пропускную способность SRAM 150 ТБ/с и пропускную способность для масштабирования 2,5 ТБ/с. Все это упаковано в стойку Groq 3 LPX Rack, которая вмещает 256 LPU и массивные 128 ГБ SRAM для низколатентной обработки.
Решение Fractile аналогично, хотя компания заявляет, что ее архитектура нацелена на 100-кратное ускорение ИИ-инференса при одновременном снижении затрат в 10 раз по сравнению с Groq от NVIDIA. Команда Fractile, работающая над проектом, состоит из специалистов из таких крупных компаний, как NVIDIA, Graphcore и Imagination Technologies.
Это впечатляющие цифры, но компания еще не разработала тестовых чипов, поэтому эти ранние переговоры могут положить начало процессу разработки собственных чипов Anthropic. Anthropic по-прежнему сильно зависит от внешних производителей чипов, поскольку подписала многогигаваттную сделку с Broadcom, и, по слухам, скоро добавит четвертое имя в свой портфель вычислительных мощностей в лице AMD.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Hassan Mujtaba
