Команда Института доверенного воплощенного интеллекта Университета Фудань предложила RoboSkill — фреймворк, который позволяет универсальным роботам-агентам сохранять полученные в процессе работы знания. Вместо сбора новых демонстрационных данных для каждой задачи агент исследует задачу, а затем сохраняет сработавший метод в виде навыка, состоящего из текстовых инструкций и фактически выполненного кода. Статья под названием «Explore, Execute, Evolve: A Skill Acquisition and Reuse Loop for Embodied Agents» была опубликована на arXiv, а код доступен на GitHub.
Работа начинается с изменения в робототехнике. Модели «зрение-язык-действие» обычно требуют свежих данных для каждого места развертывания, а данные для роботов стоят дорого, поскольку люди должны дистанционно управлять машинами, сбрасывать сцены и повторять демонстрации. Команда обнаружила, что современные мультимодальные агенты вместо этого могут наблюдать, рассуждать и писать управляющий код на месте. В симуляционном бенчмарке LIBERO-10, с четырехчасовым бюджетом и многократными попытками, лучшие агенты достигли 100-процентного успеха. На реальном роботе самый сильный агент успешно справился с 91,7 процента простых задач и 80 процентами сложных.
Проблема заключается в скорости. Агенты проходят цикл наблюдения, рассуждения, действия и проверки, а рассуждение между короткими движениями манипулятора может занимать минуты. Среднее время выполнения симуляций достигало 94,5 минут, а успешное выполнение задач на реальном роботе занимало от 20 до 27 минут.
RoboSkill решает эту проблему двумя способами. Во-первых, он добавляет тактильные ощущения. Показания давления, силы и крутящего момента сообщают агенту, установил ли захват контакт, поэтому ему не нужно постоянно проверять изображения. С добавлением тактильных ощущений среднее время симуляции одного агента сократилось с 25,35 минут до 15,93, а задача извлечения пробирки на реальном роботе сократилась с 33,63 минут до 20.
Во-вторых, он накапливает навыки. После выполнения задачи агент анализирует произошедшее и записывает эффективный метод, а затем постоянно обновляет его с учетом последующих результатов. Например, метод определения высоты стола путем контакта может быть повторно использован в новой сцене, даже если высоту придется измерять заново. Повторное использование навыков сократило среднее время симуляции одного агента с 94,5 минут до 35,9.
Сохранение кода вместе с текстом имело наибольшее значение. Переход от навыков, основанных только на тексте, к навыкам, сочетающим текст и код, сократил среднее время для всех четырех протестированных агентов. Для одного из них время сократилось с 67,1 до 39,9 минут, а успешность с первой попытки возросла с 15 процентов до 67,5 процента. В целом команда сообщает об увеличении успешности с первой попытки на 12,5–25 пунктов в LIBERO-10, экономии времени симуляции от 7,6 до 72,4 процента и увеличении успешности на реальных роботах на 8,3 пункта. Исследователи утверждают, что навыки также передаются между задачами и между различными моделями агентов.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
