Робототехническое подразделение компании Hello Inc. представило HelloWorld — генеративную модель мира для вождения, предназначенную для создания данных для тестирования и интерактивного испытания алгоритмов управления. Команда анонсировала модель 12 октября и опубликовала научную работу на arXiv вместе со страницей проекта.
HelloWorld объединяет управление сценой, непрерывную генерацию, мультисенсорное наблюдение и эффективный вывод. Инженеры могут напрямую редактировать транспортные средства, пешеходов и их траектории, а модель генерирует соответствующие многоракурсные видео с камер вместе с данными лидара. Примеры включают добавление пешехода, пересекающего дорогу, изменение маршрута впереди идущего автомобиля или переключение между дождем, снегом, днем и ночью.
Модель также принимает описания на естественном языке как второй способ построения сцен. Пользователь описывает желаемую ситуацию, а конвейер приложений преобразует ее в условия, необходимые модели. Строительные зоны, плотный трафик, пересекающие дорогу пешеходы, туман и различное освещение — все это может быть использовано для управления генерируемым контентом.
Цель состоит в том, чтобы заполнить пробелы в реальных данных. Редкие ситуации, такие как необычные опасности или нестандартные комбинации погоды и трафика, трудно собрать в достаточном количестве только путем сбора данных на дорогах. Генерация таких данных по запросу позволяет разработчикам создавать целевые обучающие наборы и проводить контрфактические тесты: воспроизводить один и тот же момент с измененным элементом, чтобы увидеть, как отреагирует алгоритм управления.
Согласно статье, HelloWorld имеет около 2 миллиардов параметров, генерирует изображения для семи камер с условным выводом лидара и использует каузальную генерацию в несколько шагов. Такая конструкция призвана обеспечить достаточно быструю работу для многократного интерактивного моделирования, а не для генерации разовых клипов.
Мировые модели стали распространенным инструментом в области автономного вождения и воплощенного искусственного интеллекта, где команды используют их для снижения затрат на сбор и маркировку редких случаев. HelloWorld — это первый публичный исследовательский релиз такого рода от команды роботакси. Компания не уточнила, когда и как модель будет использоваться в программах тестирования ее транспортных средств.
СМОТРИТЕ ТАКЖЕ:Xiaomi представила открытую воплощенную мировую модель Robotics-U0 и стек для обучения · Amap выпустила 3D-нативную городскую мировую модель ABot-Earth 0.7
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
