Релиз Genie 4 состоялся через пару месяцев после того, как AI-стартап Runway выпустил свою вторую мировую модель GWM Worlds 2 — игровую модель, которая динамически реагирует на действия пользователя и включает генерацию звука. В то же время индустрия мировых моделей начинает консолидироваться. World Labs Фэй-Фэй Ли приобретается AMD, Amazon ведёт переговоры о покупке Decart, а Rivian только что приобрёл Third Dimension, чтобы внедрить возможности симуляции для тестирования автопилота.
Genie 4 — это последний шаг Google, позволяющий оставаться впереди в переполненной области.
Google выпустил своего предшественника, Genie 3, в качестве предварительной исследовательской версии чуть больше года назад. Помимо гораздо более фотореалистичного изображения и наличия звука, Genie 4 позволяет выполнять произвольные правки, например, менять погоду или угол камеры в реальном времени, а также добавлять новых людей или объекты. Модель может поддерживать единую сцену до двух минут — вдвое дольше, чем предшественник, — и обладает улучшенной физикой и более человекоподобными персонажами.
Gemini, AI-модель Google, также более тесно интегрирована с Genie 4, выступая в роли режиссёра, который планирует шаги и проверяет кадры, пока Genie создаёт изображения. В исследовательском эксперименте, связанном с Gemini Robotics, модель Gemini 4 Argon разбила задачи на шаги, которые Genie 4 симулировал в реальном времени. Эксперимент демонстрирует возможный способ тестирования сценариев для роботов в симуляции до того, как они произойдут в реальном мире.
«В будущем мы всё чаще будем видеть гибридные мировые модели, где комбинация Gemini пишет код и текст, а Genie обрабатывает это в реальном времени и симулирует реальность на разных уровнях абстракции», — заявил Теджас Кулкарни, директор по исследованиям Google, во время брифинга.
Как и в случае с другими мировыми моделями, заявленные коммерческие сценарии использования включают игры, интерактивное обучение и робототехнику. Один из гипотетических примеров интерактивного обучения — войти в картину с исторической сценой и поговорить с её героями о изображённом событии.
Но «доверенные тестировщики» — люди, которые первыми получают доступ к передовым продуктам Google, — указывают на возможное новое применение: создание прототипов фильмов.
«Аспект реального времени становится наиболее ценным в тех областях, где поддержание состояния потока в творческом процессе чрезвычайно полезно», — сказал Диего Ривас, инженер Google DeepMind, на пресс-брифинге. «Например, на этапе генерации идей, на этапе раскадровки — в любое время, когда требуется быстрая проработка идей».
Google также предлагает Veo — свою AI-модель генерации видео, которая создаёт высококачественные клипы со встроенным синхронизированным звуком по текстовым, графическим или видеозапросам. Этот инструмент набирает популярность среди кинематографистов.
Ривас добавил, что в конечном итоге пользователи смогут полагаться на Gemini Omni — мультимодальную большую языковую модель, которая может генерировать видео из изображений, аудио и текста, чтобы превращать эти прототипы в творческие активы. Однако, по его словам, эти возможности ещё далеки от реализации.
На протяжении брифинга Ривас подчёркивал, что Genie 4 находится на ранней стадии развития, и пока неясно, каким будет конечный продукт. Команда также признала, что у Genie 4 остаются пробелы: детали и объекты могут «дрейфовать» по мере увеличения длительности симуляции, и пока не до конца решена задача обеспечения точности звука и читаемости внутриигрового текста.
Genie 4 доступен сейчас в качестве предварительной исследовательской версии для доверенных тестировщиков. В ближайшие недели модель будет развёрнута для подписчиков Google AI Ultra в Project Genie — инструменте Google на основе AI для генерации интерактивных миров по текстовым или графическим запросам, — а также для партнёров раннего доступа к Gemini API и Google AI Studio.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rebecca Bellan
