Команда Huawei Ascend заявила об адаптации модели Kimi K3.1 Pro от Moonshot AI для дообучения с помощью LoRA и подтвердила обучение на системе Atlas 950 SuperPoD из 128 карт, согласно публикациям на Guandian и в китайском техническом издании от 6 и 7 ноября. Работа касается обучения — отдельного этапа от поддержки инференса «нулевого дня», о которой Ascend объявила после того, как Moonshot опубликовала веса модели 4 ноября.
Kimi K3.1 Pro — это открытая мультимодальная модель типа mixture-of-experts (MoE) с примерно 2,8 триллионами параметров. В отчетах описываются 896 маршрутизируемых экспертов с активацией 16 на токен, гибридная архитектура внимания, в которой примерно три четверти блоков внимания используют линейное внимание KDA наряду с разреженным вниманием с гейтами, и контекстное окно до одного миллиона токенов.
Такой масштаб создает нагрузку на память: одни только веса BF16 занимают около 5,6 ТБ до учета градиентов, состояний оптимизатора и активаций длинных последовательностей. Ascend сообщает, что объединила шардинг FSDP2 параметров, градиентов и состояний оптимизатора с параллелизмом экспертов, распределяя экспертов по ускорителям. Валидация проводилась с использованием конфигурации FSDP2 плюс EP64 на системе из 128 карт.
Со стороны операторов команда заявляет о создании больших слитных ядер прямого и обратного прохода для внимания KDA и использовании слитных операторов AscendC для разреженного внимания, утверждая, что это обеспечило более чем двукратное увеличение производительности по сравнению с прежним подходом с мелкими операторами. Новые остаточные структуры были реализованы с помощью фреймворка Triton Ascend и компилятора BiSheng, а шаги маршрутизации MoE, такие как перестановка токенов и групповые матричные умножения, были слиты и перекрыты с коммуникациями.
Механизм выборочного кэширования под названием Swap Core сохраняет выходные данные выбранных операторов матричного умножения в многоуровневом хранилище, охватывающем память HBM и DDR. Ascend утверждает, что это повысило среднюю производительность обучения на 15% в текущей конфигурации тестирования; абсолютная пропускная способность не была опубликована, и этот показатель не был независимо проверен. Для ограничения потребления памяти при работе с большим словарем использовалось блочное вычисление потерь вдоль размерностей последовательности и словаря.
Команда также представила кривые потерь с запусков на 128 картах. Обучение со случайной инициализацией начиналось около 13,5 и снизилось примерно до 1,7 после более чем 400 шагов, в то время как дообучение LoRA на основе открытых весов начиналось около 1,85 и сошлось примерно к 0,27 после более чем 500 шагов. Ascend заявляет, что рабочий процесс разработки на основе агентов позволил подготовить модель в течение нескольких дней.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
