Компания Anyverse Dynamics, специализирующаяся на воплощенном искусственном интеллекте, выпустила и открыла исходный код MWA-Phoenix — модели действий в латентном пространстве, предназначенной для использования в качестве базовой модели для манипуляций роботами. Предварительно обученная модель имеет 7 миллиардов параметров и разработана для работы непосредственно на роботе. Код доступен на GitHub, а вместе с ним опубликован технический отчет.
MWA-Phoenix работает только с вводом с RGB-камеры и не использует информацию о глубине. По данным компании, модель заняла первое или одно из ведущих мест в шести различных тестах: 94,63% на LIBERO-Plus, который добавляет помехи, такие как угол обзора камеры, освещение и шум датчика; 66,48% на LIBERO-Pro, который изменяет объекты, положения и цели; 82,67% на RoboCasa GR1 Tabletop, что на 7,5 пункта выше предыдущей модели WALA; и 72,42% на бенчмарке для двух манипуляторов RoboTwin 2.0. Также сообщается о результатах на leaderboard реальных роботов RoboDojo, охватывающем три типа роботов и 18 задач.
Наиболее показательным может быть результат на Bench2Dex, который охватывает 12 комбинаций роботизированных рук и ловких манипуляторов. Phoenix показал средний результат 45,6%, что, по словам компании, на 17,3 пункта опережает сильнейшую базовую модель pi0.5. Абсолютный показатель демонстрирует, что перенос навыков между различными роботами остается далеким от решения.
Технически модель использует DINOv3 в качестве основы для обработки изображений и извлекает знания из двух источников: VGGT для геометрии и V-JEPA для временных изменений. Причинная семантическая VAE сжимает эти признаки в компактное представление без чтения будущих кадров. Затем видеоэксперт и эксперт по действиям связываются через совместное внимание, чтобы модель одновременно предсказывала, как изменится сцена, и что должен делать робот.
Два сопутствующих релиза направлены на устранение разрыва между симуляцией и реальным оборудованием. Phoenix-ILA интегрирует движение и контакт в обучение действиям для точной манипуляции, а Phoenix-PhysCanvas представляет собой интерактивную симуляционную модель мира, где политики могут продолжать совершенствоваться в облаке перед развертыванием. Для управления в реальном времени команда использует асинхронное выполнение, чтобы следующая порция действий подготавливалась, пока робот еще движется.
Данные для предварительного обучения получены в результате работы реальных роботов, эгоцентрических видеозаписей людей и захвата данных с помощью портативных устройств UMI. Anyverse Dynamics утверждает, что располагает более чем 200 000 часами мультимодальных данных и обучает более крупные модели. Все показатели бенчмарков являются собственными данными компании, и она заявляет, что тестовые данные не использовались при обучении.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
