11 ноября компания Baidu представила ERNIE 5.5 Flash Preview — первую версию модели после обучения, основанную на модели ERNIE-5.5-Flash-Base, которую компания открыла 6 ноября. Модель имеет 280 миллиардов общих параметров, из которых 14 миллиардов активны на токен, и поддерживает контекст объемом 1 миллион токенов. Baidu заявляет, что модель хорошо справляется с программированием, 3D-моделированием, интеллектуальной работой и созданием контента, а также демонстрирует конкурентоспособные результаты в бенчмарках при очень быстрой декодировке. Это заявления самой Baidu, а таблица с результатами бенчмарков не была доступна в виде текста в исходном материале.
Ключевым моментом является доступ. API доступен на платформе Baidu Qianfan: список моделей платформы, обновленный 10 ноября, показывает конечную точку с именем ernie-5.5-flash-preview с контекстом 1 миллион токенов и стандартным ограничением в 60 запросов и 1 миллион токенов в минуту. Веса — это отдельный вопрос. Baidu заявляет, что они будут открыты к 25 ноября, и это пока остается обещанием, а не фактом. Когда мы проверяли 11 ноября, репозиторий Preview на Hugging Face выдавал ошибку доступа, а публичный список Baidu на Hugging Face показывал только два контрольных чекпоинта Base. Репозиторий Baidu vLLM-ERNIE действительно включает Preview в форматах FP4, FP8 и BF16 в своей таблице поддерживаемых моделей, а руководство по развертыванию из проекта SGLang описывает чат-версию как «скоро». Сторонний каталог описывает модель как имеющую открытые веса, но это не удалось подтвердить с помощью общедоступной загрузки.
Репозиторий модели Base описывает разреженную архитектуру mixture-of-experts, предварительно обученную на 33,5 триллионах токенов, с 512 маршрутизируемыми экспертами на слой, гибридным вниманием, которое сжимает большинство слоев, и встроенным черновиком для спекулятивной декодировки. Чат-модель Preview добавляет возможности рассуждения, вызова инструментов и встроенный черновик. Baidu указывает примерные размеры весов: 155 ГБ для FP4, 280 ГБ для FP8 и 560 ГБ для BF16.
Baidu называет Preview промежуточным результатом пост-обучения. Компания предупреждает, что недостаточное обучение может по-прежнему вызывать пробелы в возможностях, заявляет, что пост-обучение продолжается, и планирует доработать модель в официальном релизе на основе обратной связи из реального мира.
Источники: Отчет IT Home · Официальный список моделей Qianfan · Официальный репозиторий vLLM-ERNIE.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
