BAAI и Qingmao Intelligence представили комплексное решение для инференса на базе FlagOS

Baai Qingmao Flagos ии оптимизация инференс pandaily.com

BAAI и Qingmao Intelligence расширяют FlagOS для коммерческого инференса, сообщая об улучшениях ядра, задержки обслуживания и префиксного кэша.

Пекинская академия искусственного интеллекта (BAAI) и Qingmao Intelligence 17 ноября представили комплексное решение для оптимизации инференса, расширив FlagOS для коммерческого использования. Как сообщается в аккаунте Leiphone, работа велась над новым ядром и системой обслуживания для кластеров Huawei Ascend 910C и существующих 910B, а не над очередным анонсом расширения экосистемы FlagOS, которое произошло в октябре.

Решение партнеров нацелено на модели Zhipu AI GLM-5.3 и GLM-5.3-Flash, устраняя различные узкие места: обработку запросов (prefill) и генерацию токенов (decode).

На Ascend 910C партнеры сообщили об оптимизации гибридных вычислений внимания для снижения перемещения промежуточных данных. При входной длине 81 920 токенов и 16 одновременных запросах пропускная способность увеличилась на 3,41%. При входной длине 256 тыс. токенов медианное время до первого токена сократилось на 4,94%, согласно данным конференции, опубликованным Leiphone.

Для декодирования команда объединила динамическую квантизацию, преобразование масштаба и запись в высокоскоростную память в одно ядро. Время выполнения на микробенчмарке 910C сократилось с 18,03 микросекунды до 2,04 микросекунды, что примерно в девять раз быстрее на уровне ядра. Это не девятикратное улучшение для всего запроса инференса: партнеры отдельно сообщили о снижении общей задержки между токенами более чем на 10% и сокращении времени на выходной токен более чем на 8% в коммерческих рабочих нагрузках.

В отчете также описывается развертывание 48 карт Ascend 910B в BAAI Token Hub. Тридцать две карты обрабатывают prefill в четырех доменах, а 16 карт обслуживают decode в восьми доменах. Партнеры заявляют, что сервис GLM-5.3-Flash поддерживает контекст объемом 1 млн токенов и работал непрерывно в течение двух недель, при этом медианные показатели в реальном производстве составляли около 2,3 секунды до первого токена и 22 миллисекунды на выходной токен.

Эти медианные показатели в реальном производстве не идентифицированы как измерения для входных данных объемом 1 млн токенов без кэширования. Поэтому емкость контекста, длина запроса и условия кэширования должны оставаться различными.

В отдельном измерении повторного использования кэша сообщалось об увеличении частоты попаданий в префиксный кэш с 82,65% до 94,15%, что составляет увеличение на 11,5 процентных пункта. Медианная задержка первого токена при повторном использовании сократилась с 16,63 секунды до 3,10 секунды, или на 81,4%.

Все показатели производительности взяты из презентации партнеров, как сообщает Leiphone, а не из независимого тестирования. Они описывают конкретное оборудование, модели и рабочие нагрузки, а не универсальное ускорение для всех развертываний FlagOS.

Источники: Leiphone: запуск и измерения партнеров · Официальный сайт Qingmao Intelligence.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: