Moore Threads сообщает, что ее карта для обучения и инференса ИИ MTT S5000 и программный стек MUSA завершили адаптацию нулевого дня для Kimi K3.1 Pro от Moonshot AI. Эта работа включает загрузку модели, запуск сервиса и базовый инференс текста и изображений, согласно заявлению компании, опубликованному IT Home 6 ноября.
В заявлении описывается функциональное развертывание, а не опубликованное сравнение производительности. Moore Threads заявила, что мигрировала ключевые пути инференса модели и обеспечила стабильное выполнение на MTT S5000, но в отчете не были предоставлены данные о пропускной способности, задержке, энергопотреблении или количестве используемых карт. Описание «нулевого дня» является собственной характеристикой компании; Moonshot опубликовала полные веса модели 4 ноября.
На уровне фреймворка команда использовала SGLang-MUSA для доработки существующей реализации модели. Миграция также включала библиотеку операторов MATE, Triton-MUSA, TileLang-MUSA и компилятор MTCC. MUSA охватывает выполнение фреймворка, компиляцию операторов, среду выполнения устройства и связь между несколькими картами, позволяя разработчикам повторно использовать существующие интерфейсы при адаптации новых вычислительных путей.
Значительная часть специфичной для модели работы касалась обработки внимания и памяти. Для разреженного внимания DSA стек адаптирует выбор индексов, компоновку кеша ключ-значение, а также предварительную загрузку и декодирование. Moore Threads заявила, что операторы разреженного внимания MATE работают совместно с управлением состоянием Kimi Delta Attention, межслойными остаточными соединениями и визуальным вниманием, формируя цепочку выполнения.
Экспертные веса модели MXFP4 представляют собой еще одну проблему при развертывании. Вместо генерации полной автономной копии FP8 перед обслуживанием, команда преобразует веса в режиме онлайн и повторно использует рабочее пространство FP8 между слоями для экспертных вычислений. В заявлении это представлено как способ ввода очень большой модели в эксплуатацию без предварительной подготовки отдельного полного набора преобразованных весов.
Kimi K3.1 Pro поддерживает контекстное окно примерно в один миллион токенов и ориентирован на задачи кодирования, визуального понимания и долгосрочных агентских задач. Новая адаптация добавляет еще один аппаратный вариант для развертывания его открытых весов, при этом детали измеренной производительности сервиса и конфигурации производства остаются нераскрытыми.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
