Новости: moe

Ant Group опубликовала веса Ling-3.1-flash на Hugging Face под лицензией MIT. Это гибридная модель MoE на 560 млрд параметров с 25 млрд активных параметров на токен и контекстом 1 млн токенов. Используйте ее для улучшения агентов, поиска и разработки ПО.

ModelBest выпустила MiniCPM-V 4.7. Версия 35B-A3B работает на iPhone 17 Pro Max с 3 ГБ памяти, обрабатывая более 13 токенов/с. Оцените новую MoE-модель для ваших устройств!

NaiveAI выпустила Naive-N0.5-Flash под открытой лицензией MIT: 309B MoE с 15.5B активных параметров, гибридным SWA–DSA и нативным контекстом 1М токенов для кодинга и ИИ-разработки, построенная на MiMo-V2.5 без слоев full-attention.

StepFun выпустила Step 5 Preview: разреженную MoE модель на 600 млрд параметров с 92 слоями и контекстом 1 млн токенов для агентов с длительным горизонтом. Веса модели будут доступны 15 октября. Оцените новую архитектуру и эффективность!

DeepSeek представляет V4.1-Flash: 552B MoE с причинным энкодером-декодером и 1М контекстом. Используйте CSA2+FP4 KV (890 байт/токен) и API deepseek-flash для эффективного инференса.

Загрузите веса Qwen3.8-2.4T-A95B от Alibaba — 2,4 трлн параметров MoE с 95 млрд активных. Гибридное внимание и длинный контекст для агентов. Используйте SageMaker HyperPod и vLLM для развертывания.

DeepSeek V4.1 Flash доступна для общего пользования: 552-миллиардная MoE-модель с архитектурой Causal-Encoder-Decoder и встроенным распознаванием изображений. Новые тарифы Flash действуют с 10 сентября, V4 Pro перенаправляется на Flash с 14 сентября, а приложение объединяет режимы в один интеллектуальный. Обновите свои решения!

Оцените Qwen3.8-Flash — открытую мультимодальную MoE-модель от Alibaba, предварительную версию архитектуры Qwen4. Активируется всего 6 млрд параметров, стоимость обучения в 9 раз ниже Qwen3.7-Plus, а цены API — от 0,13 евро за миллион токенов. Модель поддерживает контекст до 1 млн токенов и превосходит DeepSeek V4 Flash в тестах.

Познакомьтесь с dots3-note preview от Xiaohongshu: MoE-модель с 280 млрд параметров, 512K контекстом и мультимодальным пониманием. Выпущена под Apache 2.0 на Hugging Face и GitHub, Huawei Ascend адаптировала её в день релиза. Xiaohongshu с 300 млн пользователей превращает ИИ в инфраструктуру платформы.

WeChat запустил серое тестирование Xiaowei — встроенного AI-ассистента на базе WeLM. Узнайте, как разреженная архитектура MoE и метод Hidden Decoding меняют подход к масштабированию, экономя вычислительные ресурсы для миллиардов пользователей.