4 февраля — Шанхайская лаборатория искусственного интеллекта (Shanghai AI Laboratory) объявила об открытом выпуске Intern-S1-Pro, научной мультимодальной базовой модели, которую она описывает как крупнейшую в своем роде в мировом сообществе open-source.
Построенная на архитектуре SAGE лаборатории, основанной на «слиянии общего и специализированного», Intern-S1-Pro использует дизайн Mixture-of-Experts (MoE) с одним триллионом общих параметров, активируя лишь восемь экспертов — около 22 миллиардов параметров — при каждом выводе. Лаборатория утверждает, что модель демонстрирует значительные успехи в основных научных возможностях: она занимает высшую позицию в мировых бенчмарках AI-for-Science, демонстрирует математическое рассуждение уровня золотой медали олимпиады и входит в число ведущих open-source моделей для рабочих процессов на основе агентов в реальных научных исследованиях.
Модель также представляет два фундаментальных архитектурных прорыва. Во-первых, она включает Фурье-позиционное кодирование и переработанный временной кодер для унификации понимания сигналов от микроскопических до макроскопических масштабов. Во-вторых, она использует эффективный механизм маршрутизации, который преодолевает узкие места в стабильности и вычислительной эффективности при обучении MoE-моделей с триллионами параметров.
По данным Shanghai AI Lab, Intern-S1-Pro подтверждает полностью автономный технологический стек — от оригинальной архитектуры модели до отечественной вычислительной инфраструктуры.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
