28 сентября 2026 года, согласно TMT Post и связанным материалам об обучающем стеке Ascend-native, Huawei открыла исходный код для предварительного обучения, дообучения с учителем (SFT) и обучения с подкреплением после обучения (RL) для openPangu-2.0. Официальный английский бренд — Huawei / openPangu. Ранее уже были опубликованы веса openPangu-2.0-Pro и openPangu-2.0-Flash на Hugging Face; на этот раз речь идет об обучающем коде, который лежит в основе этих MoE-моделей, обученных на Ascend, а не о новых параметрах.
Карточки моделей на Hugging Face описывают openPangu как бренд открытых ИИ-моделей Huawei для обучения и инференса на Ascend-native. openPangu-2.0-Pro имеет около 505 миллиардов общих параметров с примерно 18 миллиардами активных на токен, контекстное окно 512K и около 34 триллионов токенов для обучения. openPangu-2.0-Flash имеет около 92 миллиардов общих параметров с примерно 6 миллиардами активных, такое же контекстное окно 512K и сопоставимый бюджет около 34T токенов. В примечаниях после обучения на обеих карточках упоминаются комбинированное быстрое/медленное SFT, мультиспециализированное RL и онлайн-дистилляция (OPD).
Заметки по архитектуре, общие для Pro и Flash, включают многоголовое латентное внимание, многослойную смесь DSA-plus-SWA (примерно 1:2), четырехветвистую остаточную топологию mHC, трехголовое многотокеновое предсказание и обучение с оптимизатором Muon. Релиз от 28 сентября представляет недавно опубликованные компоненты предварительного обучения, SFT и RL как инструменты Ascend-native, чтобы разработчики могли воспроизводить и расширять этот стек, а не только загружать веса для инференса.
Читателям следует рассматривать открытые веса, код для инференса и этот выпуск обучающего кода как отдельные уровни: веса уже были публичными; новость сегодняшнего дня заключается в том, что Huawei открывает путь обучения pretrain/SFT/RL на стороне Ascend для openPangu-2.0. Для команд, разрабатывающих на Ascend, конкретным результатом является OSS обучающего стека, соответствующий подтвержденному семейству моделей Pro (505B / ~18B активных, 512K) и Flash (92B / ~6B активных, 512K).
СМОТРИТЕ ТАКЖЕ:Открытые веса Huawei openPangu-2.0-Pro · Открытые веса Huawei openPangu-2.0-Flash · Даты коммерческого запуска кластера Huawei Cloud Ascend 950 Lingqu
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
