Новости: инференс

Объедините ресурсы разрозненных устройств macOS для инференса ИИ. Используйте неиспользуемые GPU на Mac для ускорения задач машинного обучения. Уменьшите время ожидания и повысьте эффективность вычислений.

Ускоритель ИИ Intel GPU D-Series (Crescent Island) выйдет на рынок с производительностью 1,3 петафлопс FP8 и пропускной способностью памяти 1,5 ТБ/с. Оцените новые возможности для инференса и ИИ-сервисов.

Huawei OceanStor M900 выделяет кэшу KV отдельный уровень хранения, но спецификации износостойкости SSD для этой задачи все еще колеблются от 3 до 9 DWPD. Узнайте, как это влияет на производительность и затраты.

Xeal развернет первую в мире сеть граничных вычислений на базе зарядных станций электромобилей. Используйте простаивающие мощности для инференса с низкой задержкой. Узнайте о Latient Pods и их преимуществах.

Gimlet Cloud и Cerebras объединяют усилия для развертывания 100 МВт вычислительных мощностей. Стартап привлек $300 млн в серии B. Узнайте о планах по развитию инфраструктуры инференса.

Modal Labs привлекает новый раунд инвестиций, утроив оценку. Узнайте, как растет спрос на инференс-сервисы и почему стартапы ИИ меняют правила игры.

OpenAI и Anthropic расширяют инфраструктуру для инференса ИИ, заключая сделки по небольшим дата-центрам. Узнайте, как это повлияет на доступность ИИ-сервисов.

CIX Technology представила AGX X2 — агентную edge-платформу с производительностью 80–300 TOPS, 64–160 ГБ унифицированной памяти LPDDR5 и заявленной поддержкой инференса для моделей 7–122 млрд параметров с энергоэффективностью на 50% выше. Ускорьте локальные ИИ-вычисления!

DeepSeek представляет V4.1-Flash: 552B MoE с причинным энкодером-декодером и 1М контекстом. Используйте CSA2+FP4 KV (890 байт/токен) и API deepseek-flash для эффективного инференса.

Fujitsu запускает процессоры Monaka и серверы на их основе в ноябре. Узнайте о 144-ядерных чипах с технологией 3D-стекирования и их применении для инференса и суверенных решений.