Компания ModelBest опубликовала 20 октября технический отчет об инженерной разработке Lookahead Expert Scheduling (LES) — системы инференса, лежащей в основе MiniCPM-V 4.7 35B-A3B. По заявлению компании, LES впервые позволила запустить модель с 35 миллиардами параметров типа “смесь экспертов” (mixture-of-experts, MoE) “в реальном времени и без потерь” на смартфоне, показав скорость более 20 токенов в секунду на iPhone 18 Pro Max. На момент запуска скорость составляла более 13 токенов в секунду на iPhone 17 Pro Max. ModelBest определяет “реальное время” как декодирование со скоростью выше 8 токенов в секунду, а “без потерь” — как сохранение исходной структуры сети, количества экспертов и механизма маршрутизации.
Модель содержит около 35 миллиардов параметров и активирует примерно 3 миллиарда на токен. При 4-битной точности только веса требуют около 17,5 ГБ, тогда как 12 ГБ унифицированной памяти телефона используются совместно с системой и приложениями. Поэтому веса экспертов хранятся во флэш-памяти и загружаются по запросу, что делает операции чтения с флэш-памяти узким местом.
ModelBest решает эту проблему на трех уровнях. Для планирования LES передает входные данные маршрутизатора текущего слоя в маршрутизатор следующего слоя заблаговременно, полагаясь на схожесть между соседними слоями, чтобы угадать, какие эксперты понадобятся, и начать чтение из флэш-памяти во время вычислений в текущем слое. Дополнительный предиктор не обучается. Компания сообщает о примерно 80% охвате кандидатов в эксперты. Окончательный выбор по-прежнему делает реальный маршрутизатор, и эксперты, уже находящиеся в памяти, вычисляются первыми, пока остальные загружаются.
Для хранения веса каждого эксперта расположены непрерывно, так что один эксперт представляет собой одну область файла. Схема смешанной точности сохраняет веса экспертов в формате Q3_K, а остальные — в Q4_K_M. ModelBest сообщает о среднем результате в 78,12 на пяти бенчмарках по сравнению с 78,28 в формате FP16, а также о сокращении файла весов с 19,7 ГБ до 14,44 ГБ. Поскольку квантование изменяет числа, “без потерь” здесь относится к архитектуре и маршрутизации, а не к побитово идентичному выводу.
Для вычислений команда адаптировала схему спекулятивного декодирования DSpark от DeepSeek и Пекинского университета для llama.cpp, и сообщает, что запрос на слияние (pull request) был принят в основную ветку (upstream).
В результате проведенного компанией анализа на iPhone с 12 ГБ памяти скорость декодирования выросла с базовых 3,38 токенов в секунду до 6,57 с LES, 11,34 — с изменениями в планировании и хранении, 17,16 — со смешанным квантованием точности и 20,51 — с DSpark, что в 6,07 раза превышает базовый показатель. На M4 iPad скорость составила 18,0 токенов в секунду с увеличенным кэшем экспертов и пиковым потреблением памяти 7,8 ГБ; в режиме с минимальным использованием памяти пиковое потребление составляло около 3 ГБ при скорости от 9,6 до 10,7 токенов в секунду.
ModelBest выложила код LES и адаптацию DSpark в открытый доступ в своем репозитории llama.cpp-omni на GitHub и заявляет, что этот подход может быть распространен и на другие MoE-модели. Все приведенные цифры являются собственными измерениями компании.
Источники: Официальный технический блог ModelBest · Официальная английская версия.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
