Новости: moe

Meituan представила LongCat-Next — мультимодальную модель с 68,5 млрд параметров, способную обрабатывать текст, изображения и аудио в единой среде. Система демонстрирует конкурентоспособную производительность в задачах OCR, генерации изображений и речи, оставаясь на стадии исследований. — pandaily.com

LLM на 400 млрд параметров обычно требуют 200 ГБ ОЗУ, но энтузиаст смог запустить такую модель на iPhone 17 Pro, используя проект Flash-MoE и SSD для потоковой передачи данных на GPU. Скорость генерации — всего 0,6 токена/с. — wccftech.com

StepFun полностью открывает исходный код Step 3.5 Flash, включая базовые веса, веса промежуточного обучения и фреймворк Steptron. Модель MoE на 196B для агентов преодолела отметку в 300 тыс. загрузок. — pandaily.com

Honor открыла исходный код MagicAgent — 30-миллиардной MoE-модели агента, созданной для передового планирования задач и гетерогенной оркестрации. — pandaily.com

Alibaba DAMO Academy представляет RynnBrain — первый воплощенный ИИ-мозг 30B MoE, наделяющий роботов пространственно-временной памятью и физическим рассуждением. — pandaily.com

Zhipu AI представила легковесную модель GLM-4.7-Flash на базе MoE (30B/3B параметров) с бесплатным API. Новинка использует архитектуру MLA для повышения эффективности, демонстрирует 59.2 на SWE-bench и достигает 43 токенов/сек на Apple M5.

DeepSeek и Пекинский университет представили “Энграмм” — новый модуль условной памяти для LLM, который эффективно хранит и извлекает знания, дополняя архитектуры MoE и предвещая будущий дизайн моделей ИИ.

NVIDIA представила семейство открытых ИИ-моделей Nemotron 3 в трех версиях: Nano (30B), Super (100B) и Ultra (500B). Новые модели используют гибридную архитектуру MoE, обеспечивая повышенную эффективность, точность и масштабируемость для разработки мультиагентных систем.