Китайская команда StartLux, разработчик семейства моделей StartLux-Decision, представила Prism — движок для инференса, созданный специально для моделей принятия решений. Код был опубликован на GitHub 22 октября. Компания заявляет, что это первый открытый движок, разработанный для данного класса моделей, а не адаптированный из фреймворков для чат-ботов.
Модели принятия решений анализируют материал и выдают суждение, а не длинный текст: да или нет, выбор варианта или оценка риска с вероятностями. StartLux-Decision v1.1, выпущенная 16 октября, ранее работала на общей платформе на базе vLLM. По словам StartLux, движки вроде vLLM и SGLang предназначены для генерации токен за токеном, поэтому каждый вопрос становится отдельным запросом, и большой выходной слой вычисляется полностью каждый раз.
Prism вносит четыре изменения. Во-первых, он сужает выходной слой. Для модели StartLux-Decision размером 27B общий движок оценивает около 248 000 кандидатских токенов, тогда как задаче принятия решений нужны только буквы от A до Z. Prism сокращает эти вычисления примерно до 0,01% от исходных. Во-вторых, он использует то, что команда называет пакетной обработкой в стиле дерева: общие инструкции формируют корень, общий справочный материал — ствол, а каждый вопрос — ветвь, поэтому общая работа выполняется только один раз. В-третьих, матричные операции выполняются в int8 с накоплением int32, что делает результаты независимыми от размера пакета и порядка планирования, а выходные данные остаются идентичными на уровне битов. В-четвертых, смешанный планировщик позволяет до 64 более длинным запросам на рассуждение совместно использовать GPU с запросами на прямой ответ, при этом шаги декодирования предварительно скомпилированы как CUDA-графы, поэтому новые короткие запросы ждут всего один или два шага.
Собственные тесты StartLux на одном H200 показывают, что короткий одиночный вопрос обрабатывается за 19 миллисекунд по сравнению с 53,1 миллисекундами ранее — прирост в 2,8 раза. При задании трех вопросов по одному и тому же материалу скорость увеличивается до 5,3 раз. По 231 вопросу JevBench, Prism в среднем обрабатывал запрос за 41 миллисекунду, в то время как SGLang — за 75,6 мс, vLLM — за 112,7 мс, а llama.cpp — за 589 мс. Четыре карты H200 в режиме параллелизма данных обрабатывали 121 запрос в секунду, а тензорный параллелизм сократил задержку одиночного вопроса до 29 миллисекунд.
По семи наборам оценок и 12 351 выборке принятия решений, версия Prism в int8 показала среднюю точность 92,94% по сравнению с 92,97% для неквантованной модели BF16. Сжатая версия размером 16,55 ГБ работает на одной RTX 5090 с 32 ГБ памяти. Все цифры являются собственными измерениями StartLux, а конфигурации тестов опубликованы в репозитории.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
