Новости: инференс

OpenAI анонсировала свой первый специализированный чип Jalapeño для инференса ИИ, созданный в партнерстве с Broadcom. Этот чип, представленный Сэмом Альтманом и Хоком Таном, знаменует начало стратегии компании по созданию собственных ИИ-ускорителей для эпохи агентного ИИ.

Названный Jalapeño, новый процессор был разработан специально для уникальных потребностей систем инференса OpenAI. Он обещает лучшую производительность на ватт, снижая зависимость от Nvidia.

Платформа Agentic MaaS от Infinigence демонстрирует скачок объема вызовов токенов более чем в 20 раз, поскольку расходы на инференс превышают расходы на обучение; компания позиционирует себя как нейтральный инфраструктурный уровень между чипами и моделями. — pandaily.com

Стартап Baseten, по сообщениям, близок к завершению раунда на 1,5 млрд долларов при оценке в 13 млрд долларов на фоне продолжающейся «золотой лихорадки инференса». — techcrunch.com

Прорывной анализ SemiAnalysis выявил, что DeepSeek V4 и ускоритель Huawei Ascend 950DT были спроектированы совместно, что объясняет резкое снижение цен DeepSeek и рост доли рынка, бросая вызов доминированию NVIDIA. — pandaily.com

Аналитики Wells Fargo предполагают, что Qualcomm углубит партнерство с AWS по AI-чипам, что поможет AWS улучшить маржу и снизить затраты на инференс. Ожидается, что AWS станет ключевым партнером для будущих чипов AI200. — wccftech.com

Если те же рабочие нагрузки ИИ могут быть решены более дешевыми моделями без ущерба для качества, это будет означать массовый сдвиг в экономике ИИ. Рост затрат заставляет пользователей искать более доступные модели. — techcrunch.com

В гонке за доминирование в сфере аппаратного обеспечения для ИИ долгое время господствовала простая мудрость: больше вычислительной мощности — лучше. Модели с триллионом параметров требуют инфраструктуры триллионного масштаба, и индустрия добросовестно создавала всё более крупные кластеры NVIDIA. — pandaily.com

Воздушное охлаждение GPU для рабочих нагрузок инференса. Intel анонсировала GPU Crescent Island на архитектуре Xe3P с памятью LPDDR5X. — datacenterdynamics.com

Сервис Zerogrid от Zero Latency направляет рабочие нагрузки инференса ИИ на граничные мощности, создавая сеть с низкой задержкой для ИИ-приложений. — datacenterdynamics.com