Robbyant, компания, специализирующаяся на воплощенном искусственном интеллекте и входящая в состав Ant Group, открыла исходный код LingBot-Touch — фундаментальной модели тактильного восприятия, предназначенной для обеспечения унифицированного чувства осязания для роботизированных рук. Анонсированная 10 ноября, модель предварительно обучена на почти 5000 часах реальных тактильных данных и охватывает три принципа зондирования: магнитное, визуально-тактильное и пьезорезистивное. Код выпущен под лицензией Apache-2.0, с чекпоинтами Tiny и Small доступны на Hugging Face и ModelScope.
Проблема, которую решает модель, заключается в том, что тактильные датчики производят несовместимые необработанные сигналы, поэтому тактильный опыт, собранный одним датчиком, редко переносится на другой. LingBot-Touch предоставляет каждому типу датчика свой собственный входной токенизатор, подающий данные в общий Transformer, отображает точки контакта в общее пространство координат кончиков пальцев и выводит унифицированные тактильные токены, которые могут использоваться различными моделями действий. Репозиторий описывает цель в стиле JEPA, которая предсказывает латентные представления из пространственно-временного тактильного контекста. Обучающие данные были получены как от тактильных перчаток, носимых человеком, так и от телеуправляемых ловких рук.
Robbyant протестировал модель на двух ловких руках, Sharpa Wave и XHand, в рамках 26 реальных роботизированных задач, включая переворачивание страниц, откручивание крышек бутылок и идентификацию плиток маджонга. С добавлением представления LingBot-Touch четыре модели действий, LingBot-VLA, π0.5, Diffusion Policy и T-Rex, улучшили средний показатель успешности выполнения задач примерно на 14–26 процентных пункта по сравнению с версиями без тактильного восприятия. В одном случае T-Rex, откручивая крышки на Sharpa Wave, добивался успеха в 56,25% случаев без тактильного восприятия, в 62,5% с необработанными сигналами датчиков и в 90% с LingBot-Touch.
Все 26 тестов использовали версию Tiny с примерно 5 миллионами параметров, что добавляет от 0,13% до 0,16% к политикам, в которые она интегрируется. Большая версия Small продолжала улучшаться по мере роста данных предварительного обучения до 5000 часов, сообщает команда. Для тестирования межплатформенной передачи модель сохранила кодер замороженным на XHand, чья модель магнитного датчика не входила в данные предварительного обучения, и обучила только модель действий на демонстрациях XHand. Ее знания магнитного тактильного восприятия там были получены исключительно из данных человеческих перчаток.
Robbyant позиционирует модель как нейтральный по отношению к поставщику слой между тактильными датчиками и моделями действий, а не как модуль, привязанный к собственному LingBot-VLA, что позволяет производителям оборудования выбирать датчики по стоимости, в то время как команды систем сохраняют свои собственные политики.
Все результаты принадлежат Robbyant, и компания не сообщала о независимом воспроизведении. Релиз на GitHub представляет собой релиз для инференса, содержащий замороженный кодер и утилиты для извлечения тактильных признаков.
Источники: Отчет IT Home · Официальный репозиторий GitHub · Официальная организация Hugging Face · Официальный сайт Robbyant.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
