Новости: vllm

Основание стартапа Inferact и привлечение рекордных $150 млн на посевной стадии сигнализируют о том, что инфраструктура для инференса ИИ стремительно становится приоритетом для разработчиков и инвесторов. Создатели vLLM нацелены оптимизировать запуск моделей.

Стартап Inferact привлек значительные инвестиции в раунде, возглавленном крупными фондами, на фоне бума инференса в ИИ. Технологии вроде vLLM и SGLang, ускоряющие развертывание моделей, оцениваются в сотни миллионов долларов.