Команда под руководством Хао Дуна из Пекинского университета совместно с шанхайским производителем персональных роботов PrimeBot представила HIL-UMI — метод постобучения моделей «зрение-язык-действие», который собирает корректирующие данные с помощью ручного захвата вместо физического манипулятора робота. Статья опубликована на arXiv, а страница проекта доступна по адресу hil-umi.github.io. PrimeBot — это английский бренд Qiyuan Robot, где Дун занимает должность главного научного сотрудника.
Постобучение для манипулирования роботами обычно требует взаимодействия в реальном мире. Классический метод HG-DAgger (Human-Gated DAgger) предполагает, что оператор наблюдает за выполнением задачи роботом, вмешивается, когда он близок к сбою, а затем перезапускает сцену. Этот цикл точен, но медлен: большая часть времени уходит на неуклюжие движения робота и ручные перезапуски, а не на полезные кадры с коррекциями.
HIL-UMI сохраняет идею «человек в контуре», но исключает робота из этапа сбора данных. Оператор выполняет задачу с помощью ручного захвата Universal Manipulation Interface, в то время как камеры записывают тот же вид, который видит модель. В фоновом режиме текущая модель предсказывает будущие действия на основе этого потока, не управляя никаким манипулятором. Когда «энергетическая оценка» показывает, что распределение действий модели отклоняется от траектории человека, система предлагает оператору записать дополнительную демонстрацию для этого сегмента.
Второй цикл обучает оценщик преимуществ на основе прогресса, а затем использует поведенческое клонирование с учетом преимуществ, чтобы модель обучалась действиям, которые действительно продвигают задачу, а не бездействуют. После каждого раунда целенаправленного сбора данных модель обновляется, поэтому последующие сессии запускают оповещения о более сложных крайних случаях, а не повторяют легкие.
На четырех реальных задачах роботов — складывание полотенца, уборка стола, складывание блоков и штамповка — команда сообщает, что при одинаковом бюджете кадров обычное контролируемое дообучение повысило средний балл прогресса задачи с 44,3 до 58,0, в то время как HIL-UMI достиг 94,8, показав идеальные результаты по двум задачам, требующим точности. В задаче уборки стола с длительным горизонтом цитируется 73,40 миллисекунды на полезный кадр для HIL-UMI против 412,99 миллисекунды для HG-DAgger, что примерно в 5,63 раза выше эффективности сбора данных. Эти цифры являются собственными результатами авторов и не были независимо проверены.
В статье утверждается, что это разделяет итеративную коррекцию с учетом модели и развертывание робота, поэтому данные для постобучения могут собираться большим количеством операторов в большем количестве мест без необходимости держать ферму роботов в лаборатории.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
