AIsphere, компания-разработчик платформы генерации видео PixVerse, представила PixVerse R2 — универсальную модель реального времени, которая создает непрерывные интерактивные аудиовизуальные миры вместо статичных клипов. Выпущенная 23 сентября, R2 является развитием модели R1, представленной компанией в январе, и открывает демо-пространства для игр, интерактивных фильмов и цифровых людей на сайте world.pixverse.video.
В R2 пользователи могут создавать мир из текста или изображений, затем управлять персонажем с помощью клавиш WASD, менять камеру и вводить команды для смены персонажей, добавления объектов или изменения окружения, пока сцена продолжает работать. Компания утверждает, что предыдущие команды сохраняются: действие или команда обновляют состояние мира и влияют на последующие события, а не только на текущий момент. В Zero Mark, интерактивной игре-фильме, созданной совместно с разработчиком Сяолунбао, существо преграждает игроку путь и просит подарок; предложение дракона или листа приводит к различным результатам, генерируемым в реальном времени. Другой разработчик, Цзядэ У, построил историю вокруг цифрового персонажа по имени Ева, который сохраняет свою идентичность и память на протяжении множества взаимодействий.
AIsphere позиционирует R2 как решение давнего компромисса. Генерация в реальном времени обычно требует небольшой и быстрой модели, в то время как широкие возможности требуют более крупной. R2 разделяет работу на два уровня. Omni Causal AR, каузальная авторегрессионная основа, обученная непрерывно, обрабатывает короткие и длинные видео, мультимодальные ссылки, аудио и команды управления действиями, масштабируясь по пяти измерениям: модель, данные, задачи, управляющие сигналы и временные горизонты. Затем слой ускорения в реальном времени дистиллирует эту же основу в версию с ультра-малым количеством шагов, которая работает вживую, вместо обучения отдельной быстрой модели.
Поддерживающие технологии включают динамическую сегментацию для обработки сигналов, действующих на разных временных шкалах, три канала памяти для постоянных правил мира, недавнего движения и состояния объектов, а также Error Bank, который воспроизводит собственные состояния сбоев модели во время обучения. AIsphere заявляет, что Error Bank сократил метрику долгосрочного дрейфа яркости на 35,8% во внутренних тестах, в то время как блочно-разреженное внимание сохраняет качество почти без изменений при разреженности выше 90%.
Компания откровенно говорит об ограничениях: при строгих ограничениях реального времени и задержки качество однопроходного вывода R2 все еще уступает ведущим офлайн-видеомоделям. PixVerse Game Engine, впервые запущенный в июле, теперь работает на R2. Основатель и генеральный директор Ван Чанху заявил, что интерактивное видео в реальном времени — это не вся суть моделирования мира, но это тот путь, который люди могут испытать раньше всего. Он ожидает, что R2 эволюционирует из инструмента создания в среду, в которую пользователи смогут входить в любое время.
СМОТРИТЕ ТАКЖЕ:PixVerse запускает R1 — первую в мире универсальную модель мира в реальном времени · Когнитивная модель мира Cog-WM 1.0 от EBKernel · Kling 4.0 обеспечивает 30-секундное нативное видео
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
