Skywork AI, подразделение Kunlun Tech, 15 октября выпустила Matrix-Game 4.0 — последнюю версию своей серии интерактивных моделей мира с открытым исходным кодом. Код для инференса, браузерная демоверсия и исходный код трех игр доступны на GitHub, а веса моделей и игровые ресурсы — на Hugging Face. Новая версия распространяется под лицензией Apache-2.0.
Релиз меняет подход серии к игровым мирам. Вместо того чтобы просить видеомодель запоминать мир и следить за правилами при генерации кадров, Matrix-Game 4.0 помещает игровой процесс, физику и ввод игрока в исполняемый игровой движок. Движок выводит грубое низкополигональное изображение сцены, а каузальная видеомодель с несколькими шагами преобразует это изображение в детализированную графику в потоковом режиме. Команда описывает этот подход как «приручение» видеомодели: код определяет, что происходит, а модель определяет, как это выглядит.
Такое разделение означает, что состояние, такое как здоровье, владение предметами и прогресс миссии, явно записывается в коде, поэтому случайный визуальный сбой не перезаписывает игру. В демонстрации, о которой сообщила QbitAI, подобранный щит поглощает урон до падения здоровья игрока, а игра заканчивается, когда здоровье достигает нуля. Игроки также могут попросить кодирующий агент на естественном языке изменить игровой код, например, увеличить скорострельность оружия или превратить гонку на время в погоню.
Первыми открытыми сценами стали Medieval Castle и Ancient Egypt — обе игры в жанре шутеров от третьего лица, а также City Racing — гоночная игра. Для обучения рендерера команда создала сопоставленные данные в Unreal Engine 5, объединяя структурные кадры с полностью детализированными, и подает модели динамические подписи, описывающие видимые объекты и их состояние. Видеомодель адаптирована из Wan2.2 5B Fun Control, а также использует изображения пространственной памяти и кэшированную недавнюю историю.
Skywork называет систему первой игровой моделью мира, работающей в реальном времени на одной потребительской видеокарте. По данным QbitAI, на одной RTX 5090 она достигает примерно 83 кадров в секунду с одним шагом шумоподавления и около 57 — с двумя, запускает игры со скоростью 60 кадров в секунду, реагирует на нажатие клавиши менее чем за 0,15 секунды и потребляет около 18,5 ГБ видеопамяти. Эти цифры предоставлены компанией. Документация на GitHub включает специальный пресет для RTX 5090 с использованием ядер FP8 и графов CUDA, а в собственной таблице измерений указано примерно 38–39 кадров в секунду обработки модели в онлайн-сессиях для шутеров. Разрешение вывода в демоверсиях составляет 480p.
Предыдущие версии добавили управление действиями в 1.0, генерацию в реальном времени в 2.0 и долговременную память в 3.0, выпущенной в марте.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
