5 ноября команда ERNIE сообщила, что Baidu выпустила ERNIE-5.5-Flash-Base, необработанный чекпойнт предварительного обучения своей модели ERNIE 5.5 Flash, на платформе Hugging Face. Языковая модель с разреженным механизмом “смесь экспертов” (MoE) имеет в общей сложности 280 миллиардов параметров и активирует 14 миллиардов на токен. Она была обучена с нуля на 33,5 триллионах токенов с максимальным контекстом обучения 128 тыс. токенов, в то время как дообучение и инференс поддерживают контексты до 1 миллиона токенов.
Релиз намеренно незавершен. Веса взяты с конца предварительного обучения и не проходили промежуточного или пост-обучения, что, по словам Baidu, делает их общей отправной точкой для адаптации к домену, обучения инструкциям и исследований в области обучения с подкреплением. По словам команды, вскоре последует ERNIE 5.5 Flash после пост-обучения. Веса доступны в форматах FP8 и BF16 согласно лицензионному соглашению ERNIE 5.5 Flash Base Model License Agreement v1.0, могут быть развернуты с помощью SGLang и vLLM и поставляются с примером дообучения в репозитории NVIDIA Megatron-Bridge.
43-слойная модель разработана с упором на эффективность. Большинство слоев используют то, что Baidu называет сильно сжатым вниманием, которое объединяет каждые 128 токенов в одну запись кэша, в то время как только один слой из семи сохраняет доступ на уровне токенов к полному контексту через многоголовое скрытое внимание с разреженным отбором top-k. В общей сложности 37 из 43 слоев обращаются к сжатой последовательности, что позволяет сохранить небольшой KV-кэш. Конструкция внимания с низкоранговыми вентилями сокращает параметры проекции вентилей на 75%, сообщила команда.
В части MoE Baidu заменяет обычный одиночный маршрутизатор несколькими независимо инициализированными маршрутизаторами, которые совместно оценивают экспертов. Компания утверждает, что это улучшает соответствие между оценками маршрутизации и фактической полезностью эксперта, не изменяя количество активных экспертов, вычислений или коммуникаций. Каждый слой MoE выбирает 10 из 512 маршрутизированных экспертов плюс одного общего эксперта, работая в сжатом скрытом пространстве, что примерно вдвое сокращает коммуникации и вычисления экспертов. Компонент под названием ECHO повторно использует последний слой модели для предсказания будущих токенов вместо добавления отдельного модуля предсказания нескольких токенов и служит черновиком для спекулятивного декодирования.
Для предварительного обучения использовался оптимизатор Muon с FP8 смешанной точностью на тысячах ускорителей, а также новое ядро внимания FlashMask-4, которое, по утверждению Baidu, работает до 175% быстрее в прямом проходе, чем FlashAttention-4 на GPU класса SM100 при больших размерностях голов. Смесь данных подчеркивала код на уровне репозитория, включая коммиты, пул-реквесты, обзоры кода и проверенные CI исправления, а также длинные документы.
Baidu оценила модель на 30 бенчмарках против DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base с использованием одной системы оценки. Среди заявленных результатов: 78,4 на MMLU-Pro против 69,2 у DeepSeek-V4-Flash-Base и 82,3 на HumanEval+ против 69,5. Сравниваемые модели лидировали в некоторых тестах, включая ChineseSimpleQA, BBH с цепочкой рассуждений и InfiniteBench.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
