ACE Robotics и S-Lab при Наньянском технологическом университете представили Mundo — мировую модель, которая создает интерактивную среду для исследования на основе нескольких изображений реального места, как сообщило 31 октября китайское издание Robot Pro. Команда утверждает, что Mundo может реконструировать сцену, отображать ее с разных точек обзора и моделировать во времени, что позволяет тестировать и обучать роботов в цифровой копии конкретного пространства. В репозитории GitHub указано, что код и веса будут доступны к концу ноября.
Mundo принимает от одной до 12 контекстных изображений и генерирует новые виды вдоль выбранного пути камеры. С помощью одного изображения она расширяет видимый стиль и структуру на невидимые области, а большее количество изображений уменьшает неопределенность в отношении участков, которые никогда не были сфотографированы. Для больших пространств она может создавать движения камеры продолжительностью в десятки секунд или минут, выбирая наиболее релевантные фотографии для каждого сегмента и перекрывая сегменты для обеспечения их согласованности.
В основе модели лежит 3D-фундаментальная модель, которая определяет позы камеры и плотную геометрию, а 3D-детектор рисует начальные ограничивающие рамки для каждого основного объекта. Поскольку детекторы пропускают объекты и неправильно оценивают размеры, агент, использующий модель «видение-язык», редактирует программный код сцены, отображает ее с каждой входной точки обзора, сравнивает результат с фотографиями и решает, что исправить, в то время как численная оптимизация подгоняет положение, размер и ориентацию рамки. Отдельный агент проверки обеспечивает согласованность без редактирования сцены.
Программный код сцены записывает название, позу, размер, массу и трение каждого объекта. Скрипты применяют действия и силы, а физический движок, в настоящее время MuJoCo, вычисляет движение, контакт и столкновения. Затем модель видеодиффузии рендерит симуляцию в стиле исходных изображений. Команда дообучила референсную модель MiniMax для преобразования текста в видео примерно на 40 000 парах видео с разрешением 640×480, генерируя клипы из 124 кадров и повторно используя последние 34 кадра каждого клипа для поддержания непрерывности длинных видео.
Демонстрации включают роботов, перемещающихся по реконструированному полу отеля, открывающих стиральную машину в прачечной, кладущих яблоко в миску и складывающих блоки, с видами с камеры на голове и на запястье, а также записанными траекториями.
Команда указывает на явные ограничения. Реконструкция занимает от 10 до 20 минут, рендеринг выполняется примерно при 1,5 кадрах в секунду на восьми GPU A800 при 20 шагах вывода, мелкие объекты могут казаться парящими, и отсутствует долгосрочная память для сцен, которые меняются в течение длительных периодов времени.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
