Команда Huawei Ascend Computing заявила о завершении адаптации для инференса в первый же день выпуска модели Kimi K3.1 Pro. Эта модель с 2,8 триллионами параметров, полные веса которой Moonshot AI выпустила 4 ноября, теперь может быть развернута на серверах Atlas 800 A3, Atlas 900 A3 SuperPoD и серии Ascend 950 SuperPoD с использованием vLLM Ascend и SGLang, как сообщает официальный аккаунт Huawei Computing со ссылкой на IT Home и ifeng Tech.
Kimi K3.1 Pro — первая модель в серии K3.1 от Moonshot AI. Это модель типа “смесь экспертов” (mixture-of-experts) с нативной поддержкой визуального понимания и контекстным окном около миллиона токенов, активирующая примерно 104 миллиарда параметров за шаг инференса. Она сохраняет гибридную линейную аппроксимацию K3, построенную на слоях Kimi Delta Attention (KDA), и добавляет разреженные слои внимания DSA вместо некоторых полных слоев внимания для снижения затрат на обработку длинных контекстов.
Архитектура стала основным направлением адаптационной работы. Huawei сообщила, что команда инференса, опираясь на предыдущую адаптацию Kimi K3, заранее проанализировала новую модель и параллельно работала над интеграцией модели, разработкой операторов и валидацией сервиса. При уже имеющейся поддержке KDA и MoE команда добавила новый путь разреженного внимания и мультимодальный инференс, сохранив существующие функции обслуживания фреймворков инференса.
По данным Huawei, оптимизация охватила ключевые операторы для выбора исторической информации, вычислений разреженного внимания, предварительной обработки и остаточных вычислений, в сочетании с распределенным кэшированием и функциями на уровне фреймворка для поддержки инференса с длинным контекстом и производственного обслуживания. Цель компании заключалась в том, чтобы пользователи и разработчики могли начать развертывание и тестирование приложений в первый же день выпуска модели.
Документация vLLM Ascend указывает на экспериментальную поддержку Kimi K3.1 Pro в vLLM Ascend 0.30.0. Референсные дизайны используют разделение на восемь узлов для префилтрации и декодирования с четырьмя узлами префилтрации и четырьмя узлами декодирования, включая конфигурацию с миллионом токенов для длинного контекста. Серверы Atlas 800I A3 работают с квантованным чекпоинтом W4A8, в то время как продукты 950DT используют вариант W4A8 MXFP; руководство указывает, что продукты Atlas A2 и 950PR пока не поддерживаются.
Размер модели делает аппаратную поддержку практическим вопросом. IT Home отмечает, что веса BF16 занимают около 5,6 ТБ и даже после квантования до INT4 требуют около 1,4 ТБ, что исключает использование отдельных потребительских GPU. Huawei позиционирует свои системы A3 и 950 SuperPoD для инференса MoE с триллионами параметров, и выпуск Kimi K3.1 Pro является последней моделью с открытыми весами, которую компания поддержала в день запуска.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
