Стартап в области воплощенного ИИ X Square Robot выпустил X2Real — симуляционный бенчмарк, предназначенный для оценки производительности фундаментальных моделей роботов в физическом мире и для постоянного расширения набора тестов по мере совершенствования моделей.
Компания четко формулирует проблему. Оценка на реальных роботах — дорогостоящий и медленный процесс, тогда как симуляция быстра, но часто нереалистична и позволяет моделям легко переобучаться. X2Real построен на трех принципах: достоверность, эффективность и справедливость.
Для обеспечения достоверности команда записала траектории физических манипуляторов, воспроизвела те же команды управления в симуляции и настраивала отклик суставов до тех пор, пока два результата не совпали, что, по утверждению компании, обеспечивает совпадение траекторий на миллиметровом уровне. Также были откалиброваны визуальный облик и физические свойства, такие как контакт. Поддерживаемые воплощения включают однорукий Franka, двурукий ArtiXon Arm-6A, ARX R5 и мобильный манипулятор Quanta X1. По общим задачам манипуляции X Square Robot сообщает о корреляции 0,96 между показателями успеха в симуляции и реальном мире, и 0,99 для показателей прогресса. Эти цифры основаны на собственных тестах компании в этом подмножестве задач.
Для эффективности X2Real включает 44 задачи в 10 категориях. Четыре охватывают рассуждения: обобщение, визуальное понимание, понимание языка и память. Пять охватывают манипуляции: точные манипуляции, бимануальную координацию, использование инструментов, динамические объекты и мобильные манипуляции. Отдельный набор задач, включающий укладку блоков, нажатие кнопок в цветовой последовательности и решение задачи Башни Ханоя, нацелен на точность, долговременную память и планирование. Компания заявляет, что большинство текущих моделей все еще испытывают трудности в этих областях.
Для справедливости внешний вид, настройка задач и условия воплощения рандомизируются независимо. Модели проходят пост-обучение на наборе данных объемом почти 300 часов, собранном в студии с однородным зеленым экраном, который отделен от сцен оценки. Бенчмарк работает на симуляционной экосистеме Mana, построенной на NVIDIA Isaac Lab-Arena, которая объединяет сцены, роботов и этапы задач в виде повторно используемых модулей.
AI-агенты управляют двумя циклами. Один создает новые задачи и сцены из ограниченного набора опций, а автоматические проверки удаляют недопустимые настройки. Другой разбивает каждую задачу на граф подзадач, оценивает каждый узел по положению объектов, контактам и состояниям захвата, а также генерирует целевые новые тесты там, где модель терпит неудачу.
Единый протокол под названием Policy Space переводит различия в форматах ввода, представлениях действий и времени вывода. Разработчики запускают вывод локально и подключаются к платформе, которая обрабатывает оценку и воспроизведение траекторий онлайн без необходимости локальной настройки симуляции.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
