Компания Noitom Robotics, специализирующаяся на сборе данных для физического ИИ, опубликовала на платформе Hugging Face набор данных HiPHI-Hand. По заявлению компании, эти данные использовались для обучения модели EgoHand от NVIDIA. Анонс состоялся на конференции по робототехнике CoRL 2026 в Остине, штат Техас, а публикация на Hugging Face датирована 9 ноября.

Noitom утверждает, что предоставленные данные являются “как есть”, в том виде, в котором они были переданы NVIDIA: 11 часов синхронизированного стереоскопического видео от первого лица, снятого с помощью гарнитуры SOL, с внешней калибровкой камеры, привязанной к инерциальному датчику гарнитуры, и 3D-положениями суставов рук, полученными с помощью оптического захвата движения. Микромаркеры на пальцах обеспечивают точность до субмиллиметра, даже когда руки скрыты от камеры. На странице Hugging Face перечислены пять поднаборов данных общим объемом 794 клипа стереовидео разрешением 1360×1360 пикселей с частотой 30 кадров в секунду. Аннотации представлены в двух скелетных раскладках: 21 сустав MediaPipe и 25 суставов Vicon для каждой руки. Общий объем файлов составляет 69,5 ГБ.

Модель EgoHand, разработанная на базе NVIDIA Isaac Capture, реконструирует 3D-позу и форму руки по изображению с одной камеры первого лица. NVIDIA выпустила ее под лицензией OpenMDW, которая разрешает бесплатное коммерческое использование. Согласно данным Noitom, полученным от NVIDIA, модель была обучена на 14 миллионах изображений, полученных из синтетических данных, реальных видеозаписей и многокамерного захвата движения. Модель демонстрирует передовую точность в режиме zero-shot на общедоступных эгоцентрических бенчмарках и обрабатывает около 9 миллисекунд на кадр. NVIDIA использовала данные Noitom в своей репрезентации SOMA-Hand как один из нескольких источников реальных данных, поэтому HiPHI-Hand не является полным обучающим набором для EgoHand.

Лицензирование отличается от лицензирования модели. HiPHI-Hand использует лицензию ModalityNet Open Research License v1.0, бесплатную для некоммерческих исследований, образования и оценки. Коммерческое использование лицензируется отдельно компанией Noitom, а на странице Hugging Face пользователям предлагается запросить доступ. Это следует за HiPHI — набором данных для захвата движения всего тела и взаимодействия с объектами, который Noitom выпустила на Hugging Face в августе.

На своем стенде на конференции CoRL компания Noitom предлагает посетителям примерить гарнитуру SOL и наблюдать за реконструкцией своих рук в 3D в реальном времени с помощью EgoHand. Компания также интегрировала EgoHand в один из своих конвейеров обработки данных эгоцентрического зрения, где она оценивается как этап аннотирования рук.

Данные о точности и скорости предоставлены NVIDIA и переданы Noitom; нет независимых бенчмарков, которые бы изолировали вклад HiPHI-Hand в эти показатели.

Источники: Sina Tech Report · Официальная страница набора данных на Hugging Face · Официальный релиз Noitom Robotics.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.