Amap, подразделение Alibaba Group, занимающееся картографией и геолокацией, выпустило Lambda-0 — модель, которую компания описывает как первую полнокорпусную базовую модель для гуманоидных роботов, построенную на основе поведения человека в открытом мире. Исследование проводилось совместно с бизнес-группой Alibaba ATH, а код доступен на GitHub под лицензией Apache 2.0 вместе с публикацией на arXiv.
Основная идея заключается в том, что гуманоид может одновременно обучаться ходьбе, поддержанию позы и манипулированию двумя руками без присутствия робота во время сбора данных. Команда утверждает, что многие модели, ориентированные на зрение, язык и действия от первого лица, фокусируются на руках и предплечьях, упуская информацию о суставах, туловище и позе тела, которая необходима для выполнения длительных задач в открытой среде. Телеоператорное управление реальными роботами для заполнения этого пробела дорого и медленно масштабируется.
Вместо этого Lambda-0 использует то, что Amap называет сбором данных о всем теле без участия робота. Сборщики данных используют потребительские устройства и записывают свои действия, перемещаясь в обычных пространствах. Для репрезентативной задачи сбор одной демонстрации занял около 29 секунд по сравнению примерно со 100 секундами при использовании физического робота, что примерно в 3,4 раза эффективнее. Используя этот конвейер, команда создала HumanVerse-500 — набор данных объемом 500 часов открытых данных о всем теле человека, который синхронизирует зрение, движения тела и действия рук.
Обучение проходит в три этапа: взаимодействие с руками, координация всего тела и, наконец, воплощение гуманоида. Чтобы справиться с различиями между телами человека и робота, а также с ошибками конечных исполнительных устройств, модель использует сопоставление точек обзора и схему выравнивания действий от грубого к точному, которая сохраняет координацию всего тела при повышении точности контакта.
Согласно публикации, Lambda-0 достигла передовых результатов на симуляционном бенчмарке SIMPLE, где она показывает около 90 процентов, а также в тестах на реальных роботах. При выполнении семи задач по манипулированию всем телом и дальнему мобильному манипулированию модель была перенесена в режиме zero-shot на Unitree G1, используя только данные о человеке, и команда сообщает о частоте успешных реальных роботов в 62,5 процента, что на 22,5 процентных пункта выше, чем у самой сильной базовой линии. При постоянном использовании демонстраций роботов добавление большего количества данных о всем теле человека продолжало улучшать производительность реальных роботов, что команда представляет как доказательство того, что данные о человеке могут масштабировать обучение гуманоидов.
Цифры взяты из публикации команды и еще не были независимо воспроизведены. Для Amap этот выпуск добавляет трек воплощения к ее недавней работе над моделями мира 3D-городов.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
