Компания Rock Matrix совместно с Гонконгским университетом науки и технологий и Университетом Карнеги — Меллона представила открытую версию небольшой языковой модели EdgeRock-4B. Ее потребление памяти остается неизменным независимо от длины контекста. Базовой моделью послужил Qwen3.5-4B от Alibaba, как сообщают QbitAI, страница проекта на GitHub и научная статья на arXiv.
EdgeRock не проходила предварительное обучение с нуля. Команда поэтапно преобразовала Qwen3.5-4B. Были сохранены 24 слоя Gated DeltaNet, которые уже содержат состояние фиксированного размера. 8 слоев с полным вниманием, которые обычно хранят ключи и значения для каждого предыдущего токена, были преобразованы в скользящее окно внимания по последним 1024 токенам. Чтобы модель не забывала информацию, выходящую за пределы этого окна, команда добавила «якоря памяти» Rock Memory Anchors: для каждой группы KV-головок каждые 256 кандидатов токенов модель сохраняет 1024 наиболее полезных в небольшом банке якорей.
В результате размер KV-кэша фиксирован на уровне 72 МиБ при контексте 256 тыс. токенов, в то время как у Qwen3.5-4B он составляет 8 ГиБ — сокращение на 99,1%. Полное состояние на последовательность составляет 97,76 МиБ. На одном GPU Hopper объемом 80 ГБ EdgeRock обслуживала 512 одновременных потоков со скоростью 12 124 токена в секунду, что в 6,42 раза больше, чем у Qwen3.5-4B (1889 токенов в секунду) при лимите пакета в 64. Пиковое потребление памяти составило 61,26 ГиБ. При обработке 128 тыс. токенов на входе и 128 тыс. на выходе модель поддерживала стабильную скорость 233,7 токена в секунду, тогда как Qwen замедлилась примерно со 169 до 151,3. Время работы GPU сократилось до 24,9% от показателей Qwen при входных данных 4 тыс. токенов и до 15,6% при 32 тыс.
По данным команды, снижение точности незначительно. EdgeRock сохраняет 96,3% от показателя AIME Qwen3.5-4B и 97,5% на MATH-500, превосходит ее по 8 бенчмаркам и сохраняет 95,3% от показателей по зрению. Средний показатель pass@1 по AIME с 2024 по 2026 год составляет 82,9% против 18,8% у самой мощной другой протестированной модели с ограниченным состоянием RWKV-7 G1j 13.3B. EdgeRock занимает первое место среди моделей с ограниченным состоянием по 24 из 29 текстовых бенчмарков. В абляционном исследовании задача извлечения информации с использованием якорей памяти показала результат 94,1%, а без них — 0,4%.
Веса модели поддерживают ввод текста и изображений и поставляются с квантованными сборками. Они выпущены под лицензией EdgeRock, которая, по словам команды, разрешает коммерческое использование. Планируется выпуск более крупных версий.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
