Компания UBTECH опубликовала подробности о Thinker-WM — мировой модели, разработанной её командой Thinker, которая кодирует RGB-видео, метрическую глубину и действия робота в едином общем представлении. Техническая статья доступна на arXiv. Компания утверждает, что модель занимает первое место по трём показателям производительности в области воплощённых мировых моделей. Эти рейтинги являются собственными заявлениями UBTECH, основанными на результатах, доступных на момент объявления.
По данным UBTECH, Thinker-WM набрала 0,740 балла в общем зачёте WorldOlympiad — бенчмарка, основанного на данных реального взаимодействия роботов, охватывающего более десяти типов роботов и несколько конфигураций камер. Модель также показала лучшие результаты по отдельным показателям: 0,531 для 3D-согласованности и 0,765 для точности взаимодействия. На EWMBench модель показала общий результат 4,66, опередив такие модели, как Qwen-RobotWorld и Sora 2, с лидирующими результатами по метрикам соответствия траектории и динамики. На симуляционном бенчмарке WorldArena 1.0 Track-1 компания заявляет о лидерстве по 12 параметрам оценки.
Основной аргумент дизайна заключается в том, что многие мировые модели собраны из отдельных частей: генерация видео обрабатывает пиксели, сеть политик отвечает за действия, а отдельный модуль предсказывает геометрию. UBTECH утверждает, что такой подход разделяет физически связанные сигналы. Вместо этого Thinker-WM отображает каждую модальность через собственный кодировщик в общее латентное пространство и моделирует их совместно в общем Unified Dynamics Transformer перед декодированием видео, карт глубины и исполняемых действий. Глубина рассматривается как нативный выходной сигнал, а не вспомогательный. В однозадачных абляционных тестах на RoboTwin добавление глубины повысило успешность манипуляций на 15 процентных пунктов по сравнению с базовой моделью без неё.
Поскольку модальности используют один набор весов, изменение входных и выходных данных позволяет одной и той же модели работать в шести режимах, включая совместную генерацию видео и действий, предсказание будущего, вывод политики, преобразование видео в действия и обратную динамику.
Общий объём данных для обучения составляет примерно 30 000 часов: около 20 000 часов видео от первого лица, снятого людьми дома, в магазинах и на заводах; около 10 000 часов данных реальных роботов различных типов; и около 1 000 часов симуляции. Все действия роботов выражаются в виде поз конечного эффектора с тегом, специфичным для корпуса, чтобы разные машины могли использовать одно пространство генерации. Конвейер обработки данных под названием Data Factory отвечает за выборку, многоуровневые проверки качества и выравнивание глубины и видео.
Чтобы проверить, действительно ли общее пространство связывает модальности, команда обучила небольшой модуль отслеживания движения на замороженных визуальных признаках для восстановления смещения конечного эффектора, что UBTECH представляет как свидетельство межмодальной связи.
СМОТРИТЕ ТАКЖЕ:WorldArena 2.0 на IROS 2026 · UBTECH и FAW-Volkswagen внедряют человекоподобных роботов в заводскую логистику
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
