Это одна из целей последней интеграции Google. Начиная с сегодняшнего дня, Google DeepMind подключает Street View к Project Genie — универсальной модели мира компании, способной генерировать разнообразные интерактивные среды. Новая функция была представлена во время конференции разработчиков Google I/O.
«Это действительно мощно как для сценариев использования агентов [и робототехники], так и для людей, с которыми можно играть, и это всегда было основой Genie», — сообщил TechCrunch Джек Паркер-Холдер, научный сотрудник команды DeepMind по открытости.
Он привел пример с новым роботом, развернутым в Лондоне, где редко бывает солнце. По словам Паркера-Холдера, Genie может симулировать те редкие моменты, когда солнечные лучи отражаются от викторианских домов, чтобы эти лучи не ослепили робота, когда это произойдет.
«Одновременно вы можете сказать: „Я еду в Нью-Йорк, но не в это время года“, — продолжил он. — „Будет снег. Мне интересно, как выглядит этот квартал в снегу“».
Google собирает данные Street View в течение 20 лет с помощью автомобилей с камерами и людей, оснащенных «рюкзаками-трекерами». Технологический гигант собрал более 280 миллиардов изображений в 110 странах и на семи континентах.
«Благодаря Street View у нас есть изображения значительной части мира, — сказал Джек. — Вы можете представить, насколько мощным может быть объединение этого богатого источника информации и данных реального мира со способностью симулировать миры».
Google выпустила свою последнюю модель мира Genie 3 для предварительного ознакомления с исследованиями в августе прошлого года и открыла доступ к инструменту для подписчиков Google AI Ultra в США в январе, позволив клиентам создавать интерактивные игровые миры на основе текстовых запросов или изображений. Цель состоит в том, чтобы использовать Genie для образовательного опыта, игр и обучения робототехнике.
Genie 3 уже помогает обеспечивать работу одного из симуляторов Waymo для обучения своих беспилотных автомобилей на «чрезвычайно редких событиях», таких как торнадо или случайные встречи со слонами. Добавление данных Street View может помочь Waymo подготовиться к запуску в большем количестве городов по всему миру.
У Waymo есть собственный симулятор, на который компания полагалась при масштабировании до 11 городов США и тестировании своего ИИ-водителя в нескольких других. Разница с Genie, по словам Паркера-Холдера, заключается в том, что все они рассматриваются с точки зрения автомобиля. Street View позволяет не только симулировать мир, привязанный к реальному месту, но и изменять точку зрения на другие типы агентов, например, человека или робота.
Google запускает Street View в Genie для некоторых пользователей Ultra в Соединенных Штатах начиная с сегодняшнего дня, при этом доступ будет масштабироваться со временем. Глобальные пользователи Ultra получат доступ в течение следующих нескольких недель, по данным компании.
Цель исследователей — предоставить эту новую возможность как можно большему числу людей, по словам Диего Риваса, менеджера по продукту в DeepMind. Он предупредил, что Street View в частности и Genie в целом все еще являются экспериментом, поэтому многое предстоит улучшить с точки зрения точности.
В образцах, которые мне показала команда Google — включая подводную симуляцию района, где я раньше жил, — результаты впечатляют и узнаваемы, но все еще соответствуют качеству видеоигр, а не фотореализму. Модели также пока не осведомлены о физике, что означает, что они еще не понимают причинно-следственных связей. Например, в симуляции женщины, бегущей по заснеженной Джошуа-Три, она прошла прямо сквозь кактусы и кусты.
Сравните это, например, с генератором изображений Google Nano Banana — который теперь может генерировать идеальный текст в инфографике — или его генератором видео Veo — который понимает, что бумажные кораблики плывут по течению воды, дым рассеивается в воздухе, а ткань драпируется по формам.
Физика не заложена в эти модели жестко; они изучают ее интуитивно с течением времени посредством пассивного наблюдения, как это делает живое существо.
«Я думаю, что для такого рода моделей мы отстаем от видео примерно на шесть-двенадцать месяцев с точки зрения точности и качества, так что я думаю, что мы это исправим», — сказал Паркер-Холдер.
Джонатан Герберт, директор Google Maps, который начал работать в команде Street View стажером 12 лет назад, отметил, что Genie пока не может создать точную реконструкцию улицы. Он считает, что настоящий прорыв заключается в пространственной непрерывности ИИ. Если вы повернетесь на 360 градусов, ИИ правильно запомнит и симулирует окружение позади вас. С этого момента модель может строить новую среду поверх этого.
«Мы давно думали о том, как мы можем построить лучшую и самую богатую модель мира на основе данных Street View, — сказал Герберт. — Использование данных Карт в новых формах и для новых видов исследований ИИ было нашей идеей довольно долгое время».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rebecca Bellan
