Разношерстная группа исследователей из Nvidia, Стэнфорда, Калифорнийского технологического института и других учреждений представила NitroGen. В посте на LinkedIn в пятницу Джим Фан, директор по ИИ и выдающийся ученый Nvidia, назвал NitroGen «базовой моделью с открытым исходным кодом, обученной играть в более чем 1000 игр». Однако последствия гораздо шире: они выходят за пределы игровых миров в реальный мир, принося ощутимую пользу для симуляций и робототехники.
Можно сказать, что это исследование представляет собой попытку создать «GPT для действий». Таким образом, это своего рода прорыв в области LLM, применяющей эту проверенную технологию крупномасштабного обучения за пределами областей языка и компьютерного зрения. Более того, новаторская разработка «общепригодных воплощенных агентов, способных действовать в неизвестных средах, давно считается Святым Граалем исследований в области ИИ», — утверждается во введении к исследовательской работе.
Интересно, что основой NitroGen является архитектура GROOT N1.5, изначально разработанная для робототехники. И ее применение в игровом мире показывает потенциал для возвращения и принесения большой пользы роботам, работающим в разнообразных или непредсказуемых условиях.
NitroGen был адаптирован для игр с совершенно разной механикой и физикой — такова природа и удовольствие от видеоигр. Исследователи использовали более 40 000 часов общедоступных игровых видео, которыми поделились стримеры. Особенно полезными оказались видео, в которых геймеры накладывали свои игровые взаимодействия в реальном времени поверх трансляции.
В тестах NitroGen успешно показал себя в играх самых разных жанров: «RPG, платформеры, королевская битва, гонки, 2D, 3D — все, что угодно!» — восторженно отмечает Фан. Хотя результаты многообещающие, ученый Nvidia говорит, что это только начало, и предстоит еще долгий путь.
Эта первая версия NitroGen намеренно сосредоточена на быстром моторном контроле, или «геймерском инстинкте», как называет это Фан. Согласно опубликованному исследованию, новая LLM также обладает «высокой компетентностью в различных областях», а модель работает как в процедурно генерируемых мирах, так и в незнакомых играх, демонстрируя «относительное улучшение показателей успешности выполнения задач на 52% по сравнению с моделями, обученными с нуля».
Все исследования NitroGen на данный момент были выложены в открытый доступ, и всех, кто интересуется играми, робототехникой и LLM, призывают к экспериментам. Изменения предварительно обученных весов модели, всего набора данных действий и кода — все это открыто для ваших фантазий и ловких пальцев.
Автор – Mark Tyson
