Команда MNN от Alibaba на Taobao открыла исходный код MNN-Pocket-0.3B — языковой модели примерно на 300 миллионов параметров, предназначенной для работы внутри мобильных приложений, как сообщило IT Home 6 ноября. Модель построена на основе движка инференса MNN и ориентирована на крупные универсальные приложения для покупок и услуг, такие как Taobao, где модель на устройстве должна делить ограниченные вычислительные ресурсы, память и заряд батареи со всем остальным на телефоне.
Команда поставила четыре цели при разработке того, что она называет «приложением-нативной большой моделью». Скорость декодирования должна превышать 200 токенов в секунду на указанных устройствах. Пиковое потребление памяти должно оставаться ниже 300 МБ, оставляя место в пределах бюджета модели около 500 МБ для роста контекста и накладных расходов на интеграцию. Один типичный инференс должен расходовать не более одной десятитысячной части батареи эталонного телефона, так что 100 запусков обойдутся менее чем в 1%. А по указанным бизнес-задачам модель должна соответствовать результатам модели класса 8B.
По данным тестов команды, MNN-Pocket-0.3B работает полностью офлайн на iPhone 18 Pro через движок MNN со средней скоростью декодирования около 350 токенов в секунду. Пакет развертывания INT4, включающий веса, токенизатор, граф вычислений и конфигурацию инференса, занимает 173 МБ. На iPad Pro с чипом M5, использующим бэкенд *Metal, команда зафиксировала 466 токенов в секунду для декодирования и 8 721 токен в секунду для префиллов, при этом пиковое потребление памяти увеличилось на 228 МБ по сравнению с базовым уровнем. На бэкенде CPU телефона Snapdragon 8 Gen 5 скорость составила 251 токен в секунду, а инкрементальные затраты энергии составили около 0,3% заряда батареи за 100 запусков на OnePlus 13.
Модель была обучена с нуля с упором на китайский и английский языки. После тестирования плотных конфигураций от примерно 50 млн до 1,3 млрд параметров команда обнаружила, что около 300 млн — это максимальный размер, соответствующий целевым показателям по памяти и скорости. Было решено использовать 28 слоев с группированным вниманием к запросам (grouped-query attention), отметив, что увеличение до 36 слоев не повысило средние показатели, но замедлило декодирование. Словарь был сокращен примерно с 151 000 токенов в токенизаторе Qwen3 до 64 000, что снизило затраты на встраивание и выходной слой.
Команда сообщает оценку IFEval 73,20, китайскую IFEval 74,59 и средний показатель 50,00 по 11 китайским и английским бенчмаркам, опережая сравниваемые модели того же и большего размера, включая Qwen3-0.6B. Карточка модели отмечает, что, как и другие модели с менее чем миллиардом параметров, она не рекомендуется для продвинутой математики или генерации кода с длинным горизонтом.
Варианты, опубликованные на Hugging Face, включают базовую модель для дальнейшего предварительного обучения, контрольную точку для контролируемого дообучения (supervised fine-tuning), модель, дообученную на инструкциях (instruction-tuned), сборку GGUF, сборку INT4 MNN и модель с головой принятия решений для выбора среди кандидатов. Релиз также включает черновую модель спекулятивного декодирования DFlash2, которая, по словам команды, может удвоить пропускную способность декодирования для определенных задач.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
