30 октября SenseTime выложила в открытый доступ модель SenseNova-Loop-9B-Preview — мультимодальную модель, построенную на основе циклической архитектуры Transformer. По заявлению компании, она способна конкурировать с моделями, имеющими около 27 миллиардов параметров, при собственном объеме всего в 9 миллиардов, сообщает IT Home. Веса модели доступны на Hugging Face под лицензией Apache 2.0, а код — на GitHub.
Согласно описанию модели, она имеет 32 отдельных слоя декодера. Первые четыре и последние четыре слоя выполняются один раз, в то время как слои с 4 по 27, составляющие блок из 24 слоев, выполняются дважды последовательно с общими весами. Это обеспечивает 56 выполнений слоев декодера за один прямой проход, при этом сохраняя только 32 набора весов слоев. В описании указано около 9 миллиардов общих параметров и около 14,6 миллиарда параметров для инференса.
Декодер чередует линейное и полное внимание: три слоя линейного внимания сменяются одним слоем полного внимания в каждой группе из четырех, причем границы циклов совпадают с этими группами. Модель принимает на вход текст и изображения, а на выходе выдает текст. В рецептах обучения используются последовательности до 262 144 токенов, включающие текст, изображения, код и траектории действий.
Внутри циклической секции SenseTime добавляет двупотоковые гиперсвязи с ограничением многообразия (mHC), которые несут два остаточных потока и используют обученные отображения, ограниченные нормализацией Синхорна, для смешивания информации между ними. По данным компании, тесты на абляцию показали, что mHC повысили результаты на GPQA Diamond на 4,42 пункта и на TeamBench на 13,34 пункта.
SenseTime утверждает, что в ее оценочных настройках модель превосходит другие модели в задачах кодирования, офисных приложениях и агентских задачах, а также опережает Qwen3.5-27B на WorkBuddy Bench, RaccoonPPT Bench и AutomationBench. Диаграмма бенчмарков на карточке модели также охватывает BIRD-Dev, AIDABench, Terminal Bench 2.1 и T3-Banking. Это собственные результаты компании, а технический отчет ожидается позднее.
Модель поддерживает MTP для ускорения инференса, в то время как два других метода ускорения, Dspark и Dflash2, находятся в стадии обучения. SenseTime заявляет, что далее будет изучать DSA и адаптивные счетчики итераций для повышения эффективности и производительности в задачах.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
