Китайский AI-единорог MiniMax подтвердил, что его крупная языковая модель следующего поколения M3 вступает в финальную стадию подготовки к выпуску. Об этом было объявлено в сообщениях в социальных сетях от руководителя инженерного отдела MiniMax Скайлера Мяо, что сигнализирует о значительном архитектурном пересмотре.
Самой отличительной особенностью модели M3 является ее настраиваемый механизм разреженного внимания (sparse attention), который использует Индексную Ветвь (Index Branch) для быстрого сканирования контекста и идентификации ключевых токенов, прежде чем направить их в Разреженную Ветвь (Sparse Branch) для точного вычисления внимания. Такая конструкция напрямую решает проблему квадратичной вычислительной сложности O(n2) традиционных Трансформеров, где 10-кратное увеличение длины контекста приводит к 100-кратному увеличению вычислений.
Согласно предварительным данным бенчмарков, опубликованным MiniMax, M3 демонстрирует 9,7-кратное улучшение скорости презаполнения (prefilling) и 15,6-кратное улучшение скорости генерации декодирования по сравнению с моделью M2, которая уже поддерживает контекстные окна в 1 миллион токенов. Это эквивалентно сокращению вычислительных затрат более чем на 80% для предприятий, обрабатывающих документы длиной в миллион токенов.
Подход с разреженным вниманием отражает более широкую отраслевую тенденцию: команда MiMo от Xiaomi выпустила аналогичную гибридную архитектуру разреженного внимания HySparse еще в феврале 2026 года. Этот сдвиг знаменует собой отход от чисто конкуренции в масштабе параметров в сторону эффективности и практической применимости.
Однако этот подход сопряжен с трудностями. Академические исследования отмечали, что существующие методы разреженного внимания могут терять критически важную информацию при сжатии размерности последовательности. MiniMax также придется устранить проблемы, о которых сообщали пользователи серии M2, включая нестабильность в следовании инструкциям и склонность к галлюцинациям.
Полные технические характеристики, дата выпуска и масштаб параметров M3 пока не объявлены. Ожидается, что модель будет конкурировать на все более переполненном китайском AI-рынке наряду с DeepSeek, ByteDance, Alibaba и другими.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
