Китайский стартап Nature Will, занимающийся разработкой так называемого общего физического интеллекта, 13 октября представил модель Natura-1, назвав ее первой общей фундаментальной моделью для физического мира. Модель принимает на вход язык и изображение, а также управляет роботизированными руками с 20 степенями свободы.
Natura-1 — это модель типа «смесь экспертов» (mixture-of-experts) с 50 миллиардами параметров, предварительно обученная на более чем миллионе часов эгоцентрического видео от первого лица, демонстрирующего человеческую деятельность. Компания утверждает, что роботы пока не могут обеспечить физический опыт в таком масштабе, поскольку робот может собирать данные только в тех условиях, где он уже работает, в то время как люди уже работают с инструментами и объектами практически в любой среде. После предварительного обучения на данных, полученных от людей, команда адаптирует модель для управления роботизированными руками с использованием ограниченного объема данных о манипуляциях роботов.
По данным компании, тщательно отобранный корпус данных включает миллион часов траекторий действий, обусловленных языком, построенных на основе видеозаписей, из которых были удалены дубликаты, отфильтрованы аномалии датчиков и выполнена иерархическая аннотация от общих целей до отдельных шагов. Команда восстанавливает плотные 3D-позы рук из монокулярного и стереоскопического видео. Компания создала собственное хранилище данных объемом в десятки петабайт и внутренний распределенный движок обучения, который, по ее словам, обеспечивает утилизацию более 50% FLOPs модели на сотнях графических процессоров. На этапе инференса слой оркестровки на языке Rust и объединенные CUDA-ядра поддерживают строгий 100-миллисекундный цикл от наблюдения до действия на физическом оборудовании.
Nature Will заявляет, что Natura-1 может выполнять сложные инструкции на естественном языке без дополнительного обучения (zero-shot), включая пространственные ограничения, взаимосвязи между несколькими объектами и отрицательные условия, а также завершать длительные, непрерывные рабочие процессы. Демонстрации включают складывание тонких, деформируемых материалов, написание каллиграфии мягкой кистью и смену инструментов в многоэтапных задачах. Компания отмечает, что для шести задач с длительным горизонтом потребовалась дополнительная настройка, в то время как для всех остальных результатов использовались одинаковые веса.
На собственном эталонном тесте, охватывающем двенадцать аспектов манипуляций, проведенном на двуруких роботах с ловкими руками, компания сообщает результаты 53,4 для базовой модели и 59,1 для агентурной конфигурации. По ее словам, два выбранных ею базовых варианта не смогли дать оценку с использованием ловких рук, а на платформе с захватом показали результаты 13,5 и 16,7. Эти результаты получены в ходе собственной оценки компании и не были независимо воспроизведены.
Компания описывает Natura-1 как раннее свидетельство того, что одна модель может обучаться ловким навыкам на основе человеческого опыта, и заявляет, что каждая часть ее стека разработана для дальнейшего масштабирования.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
