StepFun 15 октября опубликовала веса своей модели Step 5 Preview, соблюдая заявленную дату открытия исходного кода, объявленную при запуске модели в сентябре. Релиз включает контрольные точки BF16 и FP8 на Hugging Face и ModelScope, технический блог с описанием процесса создания модели и вспомогательные инструменты для разработчиков с открытым исходным кодом.
Step 5 Preview — это разреженная модель «смесь экспертов» (sparse mixture-of-experts), разработанная для задач агентов с длительным горизонтом. Она имеет 600 миллиардов общих параметров, из которых 27 миллиардов активны на токен, и поддерживает контекстное окно до 1 миллиона токенов. StepFun утверждает, что модель хорошо показывает себя в программировании, разработке программного обеспечения, профессиональной работе с информацией и финансах. Компания также заявляет, что модель в настоящее время занимает второе место в мире в еженедельных и ежедневных рейтингах использования OpenRouter.
Разработчики могут развернуть модель через API, совместимый с OpenAI, с помощью vLLM или SGLang, или выполнять автономный вывод с помощью Transformers. Согласно описанию модели, контрольная точка FP8 помещается на один узел с четырьмя графическими процессорами B300 или восемью графическими процессорами H200, в то время как контрольная точка BF16 требует восемь графических процессоров B300 или два узла H200 с восемью графическими процессорами. StepFun отмечает, что полный рабочий процесс разделения BF16 для Transformers еще не был полностью проверен.
Веса распространяются не под стандартной лицензией с открытым исходным кодом. Они выпущены под лицензией StepFun Model License 1.0, которую компания описывает как аналогичную Apache-2.0, но с дополнительными условиями указания авторства и коммерческой лицензии.
В техническом блоге объясняется, как StepFun совместно разработала архитектуру и процесс обучения для длительных запусков агентов. Модель использует узкую, но глубокую конструкцию с 92 слоями, что, по словам компании, обеспечивает больше вычислительных шагов для неявного многошагового рассуждения, одновременно контролируя количество параметров и вычислений. Чтобы снизить стоимость внимания при контексте более миллиона токенов, используется Sparse GQA, которая сочетает блочное индексирование с разреженными вычислениями. Индексирование в блоках по 8 токенов снижает стоимость индексирования и выбора top-k в восемь раз.
Для стабильности обучения в такой глубокой сети StepFun сохраняет ключевые состояния и параметры в точности FP32 и применяет мелкозернистое обрезание градиента для ограничения роста активации и всплесков градиента. Обучение с подкреплением проводилось примерно на миллионе проверяемых сред, охватывающих разработку программного обеспечения, научные рассуждения, исследования машинного обучения и профессиональную работу с информацией. StepFun также встроила сжатие контекста в сквозное обучение политики, чтобы агент научился обобщать состояние задачи и продолжать работу, и объединила это с более точным распределением вознаграждений для длинных траекторий.
СМОТРИТЕ ТАКЖЕ:StepFun запускает Step 5 Preview: 600B Sparse MoE, 1M контекст, веса открыты 15 октября · StepFun Step 5 Preview: ~600B MoE агент с длительным горизонтом; веса открыты 15 октября · Step 5 Preview от StepFun доступен в Tencent WorkBuddy, бесплатное использование до 25 октября
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
