Чжунгуаньцуньская академия и Чжунгуаньцуньский институт искусственного интеллекта представили ZGCM-1-7B — полностью открытую плотную модель с 7,39 миллиарда параметров, предназначенную для математических рассуждений и поиска с использованием инструментов.
Веса, обучающие данные и код для обучения распространяются под лицензией MIT на Hugging Face и GitHub, а технический отчет на arXiv подробно описывает процесс создания с нуля.
Модель использует гибридную архитектуру внимания — 27 слоев с управляемым скользящим окном плюс пять глобальных слоев — с контекстом 256 тыс. токенов и режимами как для рассуждений, так и для прямого ответа в одном чекпоинте.
Предварительное обучение включало около 4,19 трлн токенов с гибридной точностью FP8 и оптимизацией Muon; в середине обучения контекст был расширен с 16 тыс. до 64 тыс. и затем до 256 тыс. примерно на 600 млрд токенов, переформулируя следы взаимодействия как переходы состояний-действий MDP; контролируемое дообучение смешивало общие и агентные траектории с проверкой выполнения использования инструментов и функцией потерь только для ассистента.
Заявленные результаты в режиме рассуждений включают около 97,13% на MATH-500, 75,00% на AIME 2026 и 70,42% на HMMT 2025, а также лучший средний ранг среди семи сравниваемых моделей с 7–8 млрд параметров по четырнадцати бенчмаркам рассуждений в отчете.
В агентном поиске ZGCM-1 достигает около 63,09% на WebWalkerQA с веб-поиском и чтением страниц, 19,43% на BrowseComp и 62,00% на Binary Function Search с использованием инструментов Ghidra.
Эксперименты с архитектурой демонстрируют примерно 3,94-кратное увеличение пропускной способности при обучении на 256 тыс. токенов по сравнению с полным вниманием и примерно 4,2-кратное ускорение времени до получения потери при предварительном обучении на 16 тыс. токенов за счет комбинации архитектуры, точности, оптимизатора и выбора нормализации.
Быстрый старт требует trust_remote_code для пользовательских файлов модели, а команда публикует конфигурации для каждого этапа обработки данных, предварительного обучения, среднего обучения, SFT и RL.
Сообщается, что агенты ИИ под руководством исследователей помогали в курации и оценке данных.
Для лабораторий с открытыми весами ZGCM-1 является не столько чат-новинкой, сколько компактной базовой моделью для математики и поиска с прозрачным сквозным конвейером под брендом ZGCM.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
