Шэньчжэньская компания X Square Robot продемонстрировала ловкого робота, выполняющего полный стандартизированный химический эксперимент из 24 подзадач за один непрерывный дубль, используя модель, обученную исключительно на данных, собранных без участия робота. Демонстрация основана на TwinDEX — системе, представленной компанией, занимающейся воплощенным ИИ, в сентябре. Система сочетает носимый экзоскелет для сбора данных с идентичной роботизированной рукой для выполнения задач.
В ходе эксперимента робот открывает бутылку с реагентом, набирает порошок тонкой ложкой, сжимает пипетку с грушей, переносит жидкости и твердые вещества, а также придерживает почти прозрачный стеклянный стержень у стакана, чтобы направить поток, переключая инструменты и координируя обе руки. Компания заявляет, что модель была обучена с нуля на нескольких сотнях эпизодов без участия робота, без телеоперации на роботе или вмешательства на любом этапе. Китайское технологическое издание Leiphone выделило задачи, которые невозможно решить только с помощью зрения: откручивание крышки требует бокового движения пальцев, а не вращения запястья, сжатие пипетки требует регулировки силы после контакта, а прозрачный стержень трудно отслеживать камерам.
Основная идея заключается в устранении разрыва между тем, как люди собирают данные, и тем, как действуют роботы. Оба устройства TwinDEX имеют трехпалую конструкцию с девятью степенями свободы и семью активными суставами, одинаковые оси суставов и пропорции звеньев, одинаковые контактные материалы и тактильные датчики в тех же местах, а также почти идентичный внешний вид. Изображения с нескольких камер, положения запястий, состояния суставов пальцев и сигналы тактильных датчиков на кончиках пальцев синхронизированы по времени, поэтому записанные состояния пальцев напрямую отображаются на роботе без переназначения. Для двухручных работ, как сообщает Leiphone, модель изучает относительное положение рук, а не абсолютные координаты, поэтому новый стол или оператор не нарушают координацию.
X Square утверждает, что на многозадачном бенчмарке модели, обученные на данных без участия робота, улучшались с той же скоростью, что и модели, обученные на данных телеоперации, эпизод за эпизодом. Компания оценивает эффективную пропускную способность сбора данных TwinDEX в 5,3 раза выше, чем у телеоперации на роботе, при измерении по пяти задачам, включая откручивание крышек и использование шприцев. Один оператор, один стол и один экзоскелет составляют полный блок сбора данных, поэтому данные могут собираться в офисах и кухнях параллельно. По данным Leiphone, конвейер данных работает с открытой моделью WALL-OSS компании и может быть адаптирован к другим базовым моделям, таким как pi0.5.
Компания перечисляет ограничения: задачи ограничены одним столом с ограниченным набором объектов, эргономика длительных сеансов ношения не изучалась, а для более сложных задач могут потребоваться дополнительные пальцы или суставы. Техническая статья ожидается в ближайшее время, и X Square планирует расширить сбор данных на открытые среды и задачи с длинным хвостом.
СМОТРИТЕ ТАКЖЕ:HOST от X Square Robot обучается навыкам по коротким видео · X Square Robot представляет модель WALL-B для домашнего использования · Sharpa представляет ловкую руку и тактильную перчатку
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
