Гуманоидные роботы получили более эффективный рецепт обучения. Исследователи из Наньянского технологического университета, Пекинского университета, HKUST (Гуанчжоу) и Пекинской академии искусственного интеллекта (BAAI) представили Omega-0 — модель действий на основе предсказания скрытых состояний (latent-prediction world action model), которая позволяет гуманоидному роботу одновременно ходить, смотреть и работать. На 11 реальных домашних задачах модель достигла 81,8% успеха, значительно опередив pi-0.5, EgoVLA, GR00T-N1.7 и psi-0. Вклад заключается не столько в громком показателе, сколько в архитектуре: модель не предсказывает будущие пиксели, а предсказывает будущие визуальные признаки и позволяет диффузионному трансформеру (diffusion transformer) генерировать целостные движения тела.
Omega-0 имеет трёхэтапную архитектуру обучения. Первый этап — предварительное обучение модели «действие-язык-видение» для всего тела (whole-body action vision-language model pre-training). Команда обучила токенизатор Whole-Body FAST для преобразования непрерывных многомерных траекторий всего тела в дискретные токены действий, затем дообучила Qwen3-VL-2B-Instruct, превратив его в специализированную VLM для действий всего тела с обучаемыми токенами обзора для первого и третьего лица. Второй этап — предварительное обучение скрытых представлений действий человека и робота. Заимствуя идею V-JEPA, команда объединяет зрение, язык и проприоцепцию робота, предсказывает будущие визуальные признаки через видео-запросы, а затем внедряет предсказанные признаки окружения в представление действия. Диффузионный трансформер генерирует скрытое представление действия для всего тела. Третий этап — дообучение на реальных домашних задачах с использованием стратегии чанков в реальном времени для обеспечения непрерывности действий.
Для обучения этой архитектуры команда создала набор данных Omega-HOME: 40,3 часа данных из реальной среды, 4 827 траекторий и 24 типа задач. Каждая траектория содержит синхронизированные языковые инструкции, видео от первого и третьего лица, проприоцепцию и движения всего тела. Набор охватывает восемь категорий домашних задач, включая поиск объектов, уборку поверхностей, использование бытовой техники и наведение порядка. Траектории собираются с помощью телеуправления и преобразуются в сигналы контроля для сквозного обучения.
Методология бенчмаркинга является наиболее строгой частью статьи. Чтобы предотвратить загрязнение оценки данными предварительного обучения, команда исключила 11 задач дообучения из Omega-HOME и объединила остальные данные с публичными демонстрациями для второго этапа. Прирост реален, а не является артефактом утечки тестовых данных. Название модели минималистично: omega-zero — первая в серии.
Более широкое значение имеет для воплощённого ИИ в целом. Дом — самая сложная цель для развёртывания гуманоидных роботов, поскольку требует непрерывного восприятия окружения и координации всего тела. Omega-0 связывает предсказание будущего окружения с генерацией движений всего тела — это одна из наиболее принципиальных попыток на сегодняшний день решить эту совместную задачу в рамках единой модели. Путь к роботу, который надёжно складывает бельё, всё ещё долог, но архитектурное направление теперь стало яснее, чем полгода назад. Автономность на длинных горизонтах, безопасное взаимодействие, обобщение задач и адаптация к сложной среде остаются открытыми вопросами. 81,8% — полезная цифра, но не финишная черта.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
