Китайская компания Dawa Technology из Чунцина, выросшая из сферы виртуального производства фильмов, представила Scenes AI — модель мира в реальном времени, которая принимает видео с обычной камеры и превращает комнату перед ней в редактируемый, постоянный мир. Продукт получил награду за превосходство на промежуточном мероприятии NVIDIA startup showcase в Сучжоу 15 октября. Тридцать участников программы NVIDIA Inception прошли в этот этап из более чем 580 претендентов.
Большинство видеомоделей пытаются предсказать, как должен выглядеть следующий кадр. Scenes AI вместо этого поддерживает текущее состояние мира. Сцена, люди, камера, освещение, объекты и физика — всё это хранится как отдельные переменные, которые можно читать и записывать независимо. Когда что-то меняется, модель обновляет только эту часть состояния и записывает её обратно, вместо того чтобы перерисовывать всю картинку. В демонстрациях Dawa комната превращается в нарисованный от руки луг, в то время как стул, плюшевый медведь и шкаф сохраняют свои позиции. Слова, написанные на стене, остаются на месте, пока люди приходят и уходят, а погода меняется со снега на дождь.
Система имеет мощный слой управления и лёгкий слой генерации. Слой управления, построенный вокруг модуля Latent Stage, разделяет сцену, персонажа, камеру, освещение, костюм и реквизит в латентном пространстве и применяет физические ограничения для твёрдых тел, тканей, жидкостей и частиц. Слой рендеринга, LiveStage, использует причинную разреженную диффузию для выборки только изменяющихся областей. Модель имеет в общей сложности 34 миллиарда параметров, но активирует около 4 миллиардов за шаг, что составляет примерно 11,8 процента.
Dawa утверждает, что это снижает использование GPU на 40–60 процентов и ускоряет инференс в три-пять раз по сравнению с традиционными видеодиффузиями. На одной потребительской карте NVIDIA GeForce RTX система обеспечивает вывод в реальном времени при разрешении 720p и частоте 25 кадров в секунду. В тестах непрерывного редактирования компания сообщает о 98,2 процента успешных целевых правок и 93,3 процента сохранения идентичности людей. Система использует CUDA, TensorRT и NVENC и работает на локальной машине без облачных вычислений.
Dawa заявляет, что её данные получены из студий площадью 84 000 квадратных метров, более чем 300 реальных съёмок и 180 ТБ данных о состоянии мира. Главный директор по продуктам Ли Цзунсин так резюмировал подход: видео может закончиться, но мир должен продолжать существовать. Все показатели производительности предоставлены компанией.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
