Компания PHANES AI, основанная профессором Харбинского технологического института (Шэньчжэнь) Ян Шо, представила TouchWorld — прогностическую и реактивную тактильную фундаментальную модель для ловкого манипулирования. Эта работа устраняет критический пробел в современных VLA-моделях (зрение-язык-действие): они могут видеть, касается ли палец робота кнопки, но не способны почувствовать, была ли кнопка нажата.
TouchWorld отводит тактильному восприятию двойную роль в управлении роботом. Во-первых, прогностическую: перед выполнением действия модель предсказывает не только то, как должна выглядеть визуальная сцена после завершения подзадачи, но и соответствующую тактильную карту, указывающую, какой палец должен испытывать давление, где должен быть контакт и с какой интенсивностью. Это даёт роботу физический эталон ground truth, который одно лишь зрение не может проверить. Во-вторых, реактивную: после возникновения контакта модель непрерывно считывает тактильные сигналы и состояния суставов, чтобы в реальном времени вносить микрокоррекции, регулируя положение пальца, силу захвата и угол запястья, без необходимости перепланирования на уровне политики высокого уровня.
В ходе испытаний на реальных роботах по шести задачам — полив растений, уборка стола, вставка вилки, вставка чашки, чистка сковороды и извлечение салфетки — TouchWorld достиг средней успешности 65,0% в условиях без помех и 57,2% при наличии помех, включая движение цели и вмешательство в захват, превысив лучший базовый показатель на 15,7 и 16,0 процентных пункта соответственно. Каждая задача обучалась на 200 траекториях телеуправления и оценивалась на 100 испытаниях с реальным роботом.
Ян Шо, родившийся в 1998 году, является штатным профессором и научным руководителем докторантов в Харбинском технологическом институте (Шэньчжэнь), что делает его одним из самых молодых полных профессоров Китая. Он был стипендиатом Google PhD Fellowship (один из девяти победителей в мире), а его докторская работа была отобрана в финал ICLR Best Paper, после чего в возрасте 26 лет он вернулся в Китай. Сейчас команда PHANES AI охватывает данные, моделирование, управление роботами и аппаратные системы.
Позиция компании заключается в том, что тактильную обратную связь нельзя просто добавить как ещё одну модальность данных в существующие VLA-модели. Тактильные данные принципиально отличаются от визуальных по информационной плотности, времени и скорости обработки. Подача их в ту же модель привела бы к тому, что тактильные сигналы были бы подавлены визуальной информацией. Вместо этого TouchWorld использует отдельную архитектуру, в которой тактильное прогнозирование и реакция работают параллельно с конвейером VLA, а не внутри него, что позволяет модели как предвидеть результаты физического контакта, так и реагировать на неожиданные взаимодействия со скоростью, необходимой для манипуляций в реальном мире.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
