Новости: инференс

Groq привлек $350 млн при оценке $3,5 млрд — бывший производитель AI-чипов переходит в неооблачный бизнес, расширяя инфраструктуру Nvidia до 13 дата-центров. Узнайте, как компания планирует масштабировать инференс и конкурировать с CoreWeave.

Французский стартап Kog обещает 30-кратное ускорение LLM-инференса на стандартных датацентровых GPU за счет оптимизации ПО. Компания уже получила 200 коммерческих лидов и планирует в сентябре продемонстрировать 10-кратное ускорение на крупной модели, чтобы привлечь клиентов и закрыть раунд A.

Узнайте, зачем Anthropic покупает ИИ-лабораторию Decart за $6 млрд. Разработчик Lucy и Oasis создал стек DOS, который ускоряет инференс и обучение моделей, выжимая максимум из каждого чипа. Такая оптимизация критична перед крупнейшим IPO в истории.

Растущее внедрение агентного ИИ вскрывает ограничения инфраструктуры на одном стеке, заставляя предприятия пересматривать управление моделями, оборудованием и суверенитетом. Узнайте, как интеллектуальная маршрутизация рабочих нагрузок снижает затраты на инференс и повышает эффективность ИИ-систем промышленного масштаба.

Посмотрите, как открытый фреймворк HOST от X Square Robot позволяет роботу повторить задачу с первой попытки после 29-секундного видео: успех — 62%. Это переворот в embodied-AI: вместо офлайн-дообучения — контекстное обучение в моменте. Узнайте, что это значит для пайплайнов робототехники.

AMD купила стартап Taalas, встраивающий ИИ-модели прямо в кремний. Узнайте, как технология Mask ROM устраняет «барьер памяти» и выдает до 17 000 токенов/сек на пользователя, дополняя системы Helios.

Naïve привлекла $28,5 млн, автоматизируя создание и ведение бизнеса через ИИ-агентов. Узнайте, как стартап с 30 000 клиентов за месяцы масштабирует выручку в 10 раз и строит инфраструктуру для снижения затрат на инференс.

Узнайте, почему AMD выбрала Cerebras для Helios: исследователь OpenAI в восторге от скорости инференса. Партнерство обещает 5x токенов на ватт. Читайте о преимуществах Wafer-Scale Engine и влиянии на прибыльность ЦОД.

Узнайте, почему китайские модели ИИ заняли 63,5% глобального инференса, а Xiaomi MiMo-V2.5 лидирует с 10,5 трлн токенов в неделю. Поймите, как агрессивные цены и качество изменили рынок, сделав китайские API стандартом для чувствительных к стоимости нагрузок.

Сингапурский стартап Acrab представил AI-чип Gelix 1: 20-ядерный ARM-процессор на 5 нм, унифицированная память с пропускной способностью 273 ГБ/с. В бенчмарках чип обходит M4 Pro Mac mini по скорости префилла (1416 против 188 токенов/с) и поддерживает модели до 100 млрд параметров. Узнайте, почему это меняет правила игры для локального AI-инференса.