BeingBeyond, стартап в области воплощенного ИИ, основанный профессором Лю Цзунцином из Пекинского университета, выпустил Being-M0.7 — латентную модель мировых действий, которая позволяет гуманоидному роботу одновременно ходить и манипулировать объектами. Модель предварительно обучена на более чем 10 000 часов необработанных эгоцентрических видео и данных о движениях человека, прежде чем она увидит траектории робота.
Команда исходит из предположения, что реальные демонстрации роботов для комплексного управления движением и манипуляциями редки и дороги в сборе, в то время как человеческое видео от первого лица и захват движений доступны в изобилии. Проблема в том, что человеческие данные «грязные»: некоторые клипы содержат только видео, некоторые — только движения, а человеческие движения не могут быть выполнены роботом напрямую.
Being-M0.7 обрабатывает это в три этапа. Предварительное обучение отображает видео и движения в общее пространство и совместно предсказывает будущие визуальные состояния и движения тела. Среднее обучение адаптирует эти предварительные знания к виду с камеры робота и его телу. Пост-обучение добавляет отдельного эксперта по действиям, который считывает предсказания замороженных предварительных данных и выдает команды для всего тела. Вместо предсказания пикселей модель работает с замороженными признаками изображений DINO, а люди и роботы используют общее компактное 22-мерное представление движений с привязкой к голове. Пропущенные модальности обрабатываются с помощью обучаемых плейсхолдер-вложений, а не отбрасываются. Источники данных включают Ego4D, Nymeria, HumanML3D и другие общедоступные наборы, подмножества предыдущих работ BeingBeyond и приобретенные данные.
На симуляционном бенчмарке SIMPLE, который охватывает шесть гуманоидных задач на трех уровнях сложности, Being-M0.7 успешно справился со 128 из 180 испытаний, или 71,1%, показав лучший результат среди протестированных базовых моделей. В статье указаны результаты 64,4% для Ψ0, 52,8% для π0.5 и 33,9% для GR00T-N1.6, хотя Ψ0 показал лучшие результаты в одной задаче, а π0.5 — в двух других. Удаление предварительного обучения на человеческих данных снизило показатель до 48,9%.
На гуманоидном роботе Unitree G1 с ловкими руками модель успешно справилась с 13 из 15 испытаний в трех задачах, включающих ходьбу и захват, показав те же 86,7%, что и самая сильная базовая модель GR00T-N1.6, и опередив π0.5 (7 из 15) и Ψ0 (3 из 15). Другими словами, результат на реальном роботе — ничья, а не лидерство.
Команда отмечает явные ограничения. Тесты охватывали только задачи с коротким горизонтом, а точность отслеживания контроллера всего тела, используемого для сбора демонстраций, ограничивает точность данных реального робота.
СМОТРИТЕ ТАКЖЕ:BeingBeyond выпускает воплощенную мировую модель Being-H0.7, обученную на 200 000 часов видео с людьми · Модель мировых действий VPP2 от Robotera превосходит RoboDojo, показывая 58,5% в режиме zero-shot на реальных манипуляторах ALOHA
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
