Исследователи из Университета Цинхуа, Infinigence AI и AgiBot предложили подход к обучению под названием Collective Experience Learning (CEL), при котором роботы учатся на успехах других роботов, а не в основном на демонстрациях человека. Команда проверила его на кластере из 96 реальных роботов, согласно пресс-релизу, опубликованному QbitAI 30 октября. Сопутствующая статья размещена на arXiv под номером 2610.25736.
Отправной точкой команды является проблема кадрового обеспечения. Роботы совершенствуются, накапливая опыт в реальном мире, и сегодня это обычно означает, что человек снова и снова демонстрирует движение или вмешивается, чтобы исправить ошибки. Роботов могут развернуть сотнями, но опытных операторов невозможно масштабировать в том же темпе. В рамках CEL успешный опыт, накопленный одним роботом, сохраняется и передается, поэтому робот, испытывающий трудности с задачей, может найти, как его коллеги решили аналогичные ситуации.
Исследователи протестировали пять задач, охватывающих домашнюю и фабричную работу: расстановка цветов, складывание одежды, зарядка телефона, сборка табурета и упаковка телефона. Два робота, не участвовавшие в обучении, провели 600 испытаний и потерпели неудачу 15 раз, общий процент успеха составил 97,5 процента. Уровень успеха по всем пяти задачам был выше, чем в среднем у шести операторов-людей. При упаковке телефонов, многоэтапной промышленной задаче, успех вырос с 79,2 процента до 98,3 процента после коллективного обучения, при этом было зафиксировано два сбоя в 120 последовательных запусках.
Команда также сообщила о тенденции к масштабированию. При том же объеме реального времени обучения увеличение числа участвующих роботов с 16 до 96 повысило процент успеха с 86,7 процента до 98,3 процента.
Два компонента обеспечивают работу системы. Первый — это отказоустойчивая асинхронная система обучения под названием FATS, построенная на основе фреймворка обучения с подкреплением в большом масштабе с открытым исходным кодом RLinf. Роботы загружают свой опыт, как только завершают задачу, не дожидаясь других, и кластер продолжает работать, когда устройства отключаются от сети. В испытании на 96 роботах кластер собрал 9 834 эпизода. Двадцать два робота имели в общей сложности 30 сбоев, но потерянное время роботов составило всего 1,3 процента от общего времени работы.
Второй — это алгоритм под названием failure-guided experience retrieval fine-tuning, или FERT. Одно манипуляционное действие может длиться минуты и включать тысячи шагов действий, однако единственной обратной связью часто является окончательный успех или неудача. FERT использует оба: когда робот сталкивается с проблемой, он извлекает успешный опыт из аналогичных ситуаций и фокусирует обучение на этих примерах.
Релиз предоставлен Infinigence AI. Результаты сообщаются исследовательской группой и не были независимо воспроизведены.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
