Новости: инференс

Китайская компания Moxin, пионер в области технологий разреженных вычислений для ИИ-чипов, привлекла около 1 млрд юаней в рамках Серии C для коммерциализации своей вычислительной карты SparsePrime. — pandaily.com

Третье поколение ускорителей южнокорейского стартапа получит многокристальную системную архитектуру для поддержки рабочих нагрузок инференса и агентивного ИИ. — datacenterdynamics.com

Meituan выпускает версию 1.5 своего фреймворка для генерации видео с цифровыми аватарами с открытым исходным кодом, достигая передовой точности синхронизации губ всего за 8 шагов инференса. — pandaily.com

Пользователь Reddit добился успеха, запустив LLM с 1 триллионом параметров на рабочей станции, используя модули Optane PMem DIMM в качестве оперативной памяти, что вызвало ажиотаж в сообществе. — tomshardware.com

Zhipu AI выпустила GLM-5.1-highspeed — API-вариант модели GLM-5.1 со скоростью 400 токенов в секунду, что, по сообщениям, является самой высокой скоростью инференса среди ведущих мировых поставщиков LLM. — pandaily.com

Хотя чипы NVIDIA считаются лидерами по совокупной стоимости владения (TCO) среди ИИ-ускорителей, аналитики Evercore ISI отмечают, что инженеры ИИ не впечатлены. Помимо эффективности, они учитывают стоимость охлаждения. Переход к инференсу смещает фокус на стоимость за токен и экономику, подталкивая к альтернативам. — wccftech.com

Сообщается, что Anthropic, создатели Claude AI, ведут переговоры с британским стартапом Fractile, чья технология SRAM может ускорить инференс ИИ в 100 раз и снизить затраты в 10 раз. Fractile разрабатывает архитектуру Fusion для бустинга инференса ИИ. — wccftech.com

В мире дезагрегированного ИИ Nvidia может быть и другом, и врагом. Стартапы ищут ниши в инференсе, где гибридные решения Nvidia и конкурентов, включая оптические чипы, борются за доминирование над этапами prefill и decode. — theregister.com

Сообщается, что Anthropic провела ранние переговоры с лондонским стартапом Fractile о покупке его ускорителей инференса, что может диверсифицировать поставки чипов для ИИ-разработчика. — tomshardware.com

Huawei, по сообщениям, готова стать ведущим поставщиком ИИ-чипов в Китае на фоне экспортных ограничений и задержек на таможне для Nvidia. Аналитики прогнозируют, что к 2030 году объем внутреннего рынка ИИ-чипов в Китае может составить 67 млрд долларов. — tomshardware.com