Новости: инференс

General Catalyst ведет переговоры о лидировании раунда для четырехлетнего стартапа Modal Labs, специализирующегося на инфраструктуре для инференса ИИ. — techcrunch.com

Представляем llama3pure: набор движков для инференса без зависимостей для C, Node.js и JavaScript. Изучите машинное обучение на локальном оборудовании. — theregister.com

Большинство руководителей по безопасности считают, что знают, где находятся их конфиденциальные данные и как они защищены. Эта уверенность становится все более необоснованной. По мере внедрения ИИ в организациях появляется новая поверхность для раскрытия данных в трафике ИИ-инференса, выходящая за рамки традиционных моделей безопасности. — csoonline.com

Tencent открыла исходный код HPC-Ops, основной библиотеки операторов для инференса ИИ, заявив, что она ускоряет обработку моделей Hunyuan на 30%. Этот шаг направлен на повышение эффективности работы больших языковых моделей.

Microsoft представила ускоритель ИИ Maia 200, спроектированный для инференса и призванный конкурировать с Blackwell от Nvidia. По заявлению Скотта Гатри, этот чип на 30% дешевле аналогов и потребляет всего 750 Вт, оптимизирован для больших моделей и поддерживает масштабирование до тысяч чипов.

Microsoft представила Maia 200 — собственный ИИ-ускоритель второго поколения на 3-нм техпроцессе, оптимизированный для инференса. Чип демонстрирует значительное превосходство в производительности FP8 над аналогами от Amazon и Google, а также повышенную энергоэффективность.

Microsoft представила новый чип Maia 200, разработанный для масштабирования инференса ИИ. Этот процессор, пришедший на смену Maia 100, обеспечивает более высокую скорость и эффективность при работе с большими моделями, стремясь снизить зависимость от сторонних решений и оптимизировать операционные расходы.

Основание стартапа Inferact и привлечение рекордных $150 млн на посевной стадии сигнализируют о том, что инфраструктура для инференса ИИ стремительно становится приоритетом для разработчиков и инвесторов. Создатели vLLM нацелены оптимизировать запуск моделей.

Последнее раундовое финансирование Sunrise на $415 млн подчеркивает решительный поворот в индустрии ИИ к эффективности инференса и оптимизации затрат как к новому ключевому полю битвы. Инвестиции укрепляют позиции компании в разработке специализированных GPU.

Стартап Inferact привлек значительные инвестиции в раунде, возглавленном крупными фондами, на фоне бума инференса в ИИ. Технологии вроде vLLM и SGLang, ускоряющие развертывание моделей, оцениваются в сотни миллионов долларов.