Компании 4Paradigm и RiseUnion открыли исходный код ModelSphere — платформы для развертывания ИИ в производственной среде, которая объединяет управление вычислениями, обслуживание моделей и настройку в реальном времени под лицензией Apache 2.0. Код опубликован на GitHub по адресу modelsphere/modelsphere, где указана лицензия Apache-2.0, и был обновлен в день запуска.
По словам компаний, ModelSphere находится над такими движками, как vLLM и SGLang: эти стеки позволяют извлечь больше работы из одного сервера, в то время как ModelSphere управляет маршрутизацией кластера, общим пулом KV-кэша, автомасштабированием качества обслуживания, восстановлением после зависаний и онлайн-настройкой AutoTune. Встроенные функции, перечисленные в совместном объявлении, включают графическую панель развертывания, эластичное масштабирование, раздельное обслуживание prefill-decode, трехуровневое KV-кэширование, балансировку нагрузки с высокой доступностью и автоматическое возобновление после сбоя службы.
Заявленный фокус — гетерогенные чипы. Через слой инференса EngineX ModelSphere, как утверждается, управляет ресурсами Huawei Ascend, Iluvatar, Moore Threads и Hygon DCU в одном кластере, чтобы команды не переписывали низкоуровневый код для каждого ускорителя. Проект уже включает адаптации для DeepSeek-V4 и V4-Flash, Qwen, Kimi, MiniMax и GLM, с целью предоставления готовых к производству конфигураций вскоре после появления новых открытых моделей.
Что касается производительности, в объявлении утверждается, что AutoTune и аппаратная балансировка могут повысить пиковую пропускную способность примерно на 285% по сравнению с внутренней базовой линией, что описывается как четырехкратный скачок. Эта цифра является заявлением самих компаний, а не независимым аудитом, и должна рассматриваться как маркетинговая до тех пор, пока сторонние эксперты не подтвердят ее.
На диаграмме стека, представленной партнерами, движки одного узла отвечают за ядра и пакетную обработку, в то время как ModelSphere управляет маршрутизацией запросов с учетом локальности кэша, унифицированным пулом KV для реплик, решениями масштабирования на основе SLO и операционным мониторингом. Основная идея заключается в том, что предприятия, уже владеющие смешанными ускорителями, могут развернуть стабильные API LLM без необходимости создавать собственный управляющий уровень с нуля.
Релиз бесплатен для корпоративного использования под лицензией Apache 2.0 и позиционируется как инфраструктурное программное обеспечение, а не как история о финансировании или прибыли.
СМ. ТАКЖЕ:OpenCode добавляет бесплатную модель DeepSeek V4.1 Flash с окном контекста 200K
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
