StepFun представила Step 5 Preview — разреженную базовую модель Mixture-of-Experts (MoE) с примерно 600 миллиардами параметров и около 27 миллиардами активируемых на токен. Релиз ориентирован на рабочие нагрузки агентов с длительным горизонтом, такие как ИИ-кодирование, разработка программного обеспечения, финансовый анализ и профессиональная интеллектуальная работа, с контекстным окном в один миллион токенов и поддержкой ввода текста и изображений. StepFun сообщает, что доступ к API уже открыт, а веса модели планируется опубликовать 15 октября.
Вместо расширения сети Step 5 Preview использует узко-глубокую архитектуру Transformer из 92 слоев. Компания утверждает, что более глубокие стеки обеспечивают более длинные пути информации для неявного многошагового рассуждения во время длительного префикса, когда агенты ищут, выполняют код и обрабатывают результаты инструментов. Чтобы сделать сессии с миллионом токенов практически осуществимыми, модель использует разреженное внимание с группированными запросами (Sparse Grouped-Query Attention) с блочным слиянием токенов, что, по словам StepFun, снижает стоимость индексации и выбора top-k примерно до одной восьмой по сравнению с более плотной базовой моделью, одновременно объединяя перекрывающиеся соседние выборы.
Обучение фокусируется на обучении с подкреплением в реальном времени с длительным горизонтом и побитовом выравнивании обучения и вывода через маршрутизацию MoE, а также на таких методах, как планирование с учетом нагрузки, спекулятивное декодирование MTP-3, FP8 MoE и выгрузка KV-кэша. StepFun сообщает о более чем трехкратном ускорении сквозного процесса для обучения с подкреплением в реальном времени и снижении потерь в журнале выборки ниже одного процента. Модель также используется внутри управляемого человеком конвейера данных, который генерирует миллионы верифицируемых сложных задач в области науки, разработки программного обеспечения и исследований и разработок в области машинного обучения.
В тесте Artificial Analysis модель Step 5 Preview набирает около 44 баллов по индексу интеллекта, что, по словам StepFun, ставит ее в число лучших моделей с открытыми весами в этом рейтинге. Указанные цены API составляют около 1 доллара за миллион входных токенов и 2,7 доллара за миллион выходных токенов, при скорости вывода около 100 токенов в секунду. Основное внимание уделяется эффективности архитектуры и агентов — в отличие от предыдущих релизов Step 3.5 Flash и Step 3.7 Flash — с акцентом на глубину, разреженный длинный контекст и надежное многошаговое использование инструментов перед выпуском весов в октябре.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
