Новости: moe

StepFun выпустила Step 5 Preview: разреженную MoE модель на 600 млрд параметров с 92 слоями и контекстом 1 млн токенов для агентов с длительным горизонтом. Веса модели будут доступны 15 октября. Оцените новую архитектуру и эффективность!

DeepSeek представляет V4.1-Flash: 552B MoE с причинным энкодером-декодером и 1М контекстом. Используйте CSA2+FP4 KV (890 байт/токен) и API deepseek-flash для эффективного инференса.

Загрузите веса Qwen3.8-2.4T-A95B от Alibaba — 2,4 трлн параметров MoE с 95 млрд активных. Гибридное внимание и длинный контекст для агентов. Используйте SageMaker HyperPod и vLLM для развертывания.

DeepSeek V4.1 Flash доступна для общего пользования: 552-миллиардная MoE-модель с архитектурой Causal-Encoder-Decoder и встроенным распознаванием изображений. Новые тарифы Flash действуют с 10 сентября, V4 Pro перенаправляется на Flash с 14 сентября, а приложение объединяет режимы в один интеллектуальный. Обновите свои решения!

Оцените Qwen3.8-Flash — открытую мультимодальную MoE-модель от Alibaba, предварительную версию архитектуры Qwen4. Активируется всего 6 млрд параметров, стоимость обучения в 9 раз ниже Qwen3.7-Plus, а цены API — от 0,13 евро за миллион токенов. Модель поддерживает контекст до 1 млн токенов и превосходит DeepSeek V4 Flash в тестах.

Познакомьтесь с dots3-note preview от Xiaohongshu: MoE-модель с 280 млрд параметров, 512K контекстом и мультимодальным пониманием. Выпущена под Apache 2.0 на Hugging Face и GitHub, Huawei Ascend адаптировала её в день релиза. Xiaohongshu с 300 млн пользователей превращает ИИ в инфраструктуру платформы.

WeChat запустил серое тестирование Xiaowei — встроенного AI-ассистента на базе WeLM. Узнайте, как разреженная архитектура MoE и метод Hidden Decoding меняют подход к масштабированию, экономя вычислительные ресурсы для миллиардов пользователей.

Moonshot AI открывает Kimi K3 с 2,8 трлн параметров MoE, 896 экспертами и нативным зрением. Узнайте об архитектурных инновациях, инфраструктурных инструментах MoonEP, FlashKDA и AgentEnv, а также о влиянии на экосистему ИИ.

Tencent Hunyuan Hy3 с 295B параметров MoE и производительностью агентов поднимается до топ-8 в OpenRouter, демонстрируя перезагрузку подхода к созданию ИИ-моделей через переосмысление обучающего конвейера.

Colibrì proof-of-concept запускает передовую AI-модель на 25 ГБ ОЗУ и скромном CPU. Узнайте о проекте, его ограничениях, производительности и перспективах для домашнего использования.