Мировая модель — это система искусственного интеллекта, которая изучает внутреннюю симуляцию того, как устроен мир, чтобы она могла рассуждать, планировать и действовать, не нуждаясь в обучении на каждом возможном сценарии в реальной жизни.
Компания Runway, которая ранее в этом месяце запустила свою видеомодель Gen 4.5, превзошедшую Google и OpenAI в рейтинге Video Arena, заявила, что её мировая модель GWM-1 является более «общей», чем Genie-3 от Google и другие конкуренты. Компания позиционирует её как модель, способную создавать симуляции для обучения агентов в различных областях, таких как робототехника и науки о жизни.
Runway выпустила специализированные версии новой мировой модели под названиями GWM-Worlds, GWM-Robotics и GWM-Avatars.
GWM-Worlds — это приложение для модели, которое позволяет создавать интерактивные проекты. Пользователи могут задать сцену с помощью текстового запроса, и по мере исследования пространства модель генерирует мир, понимая геометрию, физику и освещение. Runway отмечает, что, хотя Worlds может быть полезен для игр, он также хорошо подходит для обучения агентов навигации и поведению в физическом мире.
С помощью GWM-Robotics компания стремится использовать синтетические данные, обогащённые новыми параметрами, такими как изменяющиеся погодные условия или препятствия. Runway утверждает, что этот метод также может выявить, когда и как роботы могут нарушать политики и инструкции в различных сценариях.
Runway также разрабатывает реалистичные аватары в рамках GWM-Avatars для симуляции человеческого поведения. Компании, такие как D-ID, Synthesia, Soul Machines и даже Google, работали над созданием реалистичных человеческих аватаров, применяемых в таких областях, как коммуникация и обучение.
Помимо выпуска новой мировой модели, компания также обновляет свою базовую модель Gen 4.5, выпущенную ранее в этом месяце. Новое обновление добавляет в модель поддержку нативного звука и возможности генерации длинных видеороликов из нескольких сцен. Компания заявила, что с помощью этой модели пользователи смогут создавать минутные видеоролики с сохранением консистентности персонажей, нативным диалогом, фоновым звуком и сложными кадрами под разными углами.
Обновление Gen 4.5 приближает Runway к комплексному видеорешению Kling, которое также было запущено ранее в этом месяце, особенно в части нативного звука и повествования из нескольких сцен. Это также сигнализирует о том, что модели генерации видео переходят от прототипов к готовым к использованию инструментам.
Обновлённая модель Gen 4.5 от Runway будет сначала доступна корпоративным клиентам, а затем всем пользователям платных планов в ближайшие недели.
Компания сообщила, что GWM-Robotics будет доступна через SDK. Также добавлено, что ведутся активные переговоры с несколькими робототехническими компаниями и предприятиями об использовании GWM-Robotics и GWM-Avatars.
Автор – Ivan Mehta, Rebecca Bellan
