Технический директор Formic Robotics большую часть прошлого года посвятил изучению разрыва между симуляторами и реальным миром. Мы спросили его, почему этот разрыв так важен, и почему он до сих пор сам занимается техническим обучением.
В основе современного робототехнического ИИ лежит напряжение, которое большинство людей за пределами этой области не замечают. Почти всё обучение, которое формирует работоспособные политики для роботов, происходит в симуляции. Проверка того, насколько хороши эти политики на самом деле, должна проводиться в реальном мире. Разрыв между этими двумя средами в настоящее время является одной из самых сложных проблем прикладного ИИ.
Дов (Дуби) Кац, технический директор Formic Robotics, много времени уделил изучению этого разрыва. Недавно он завершил обучение NVIDIA, сфокусированное на физическом моделировании, что нетипично для технического директора и сигнализирует о том, где, по его мнению, сосредоточена основная работа. Мы побеседовали с ним, чтобы разобраться в этом.
Начнем с очевидного вопроса. Почему симуляция вообще стала стандартом для обучения робототехнического ИИ?
Потому что обучение робота в реальном мире — это медленно и дорого. Каждая попытка требует физической системы, которая может быть повреждена, соблюдения безопасного периметра и команды людей для проведения эксперимента. Данные, собранные за полдня реальных испытаний, часто уступают тому, что один GPU может сгенерировать за минуту симуляции. Для систем ИИ, которым для сходимости требуются миллионы траекторий, обучение в реальном мире по сути невозможно.
Поэтому отрасль перешла к симуляции. В симуляторе робот может упасть десять тысяч раз за час, и это ничего не стоит. Среды могут генерироваться процедурно. Шум датчиков можно параметризовать. Освещение, трение и физические константы можно варьировать между запусками, чтобы подвергнуть алгоритм обучения более широкому распределению, чем может предоставить любое реальное оборудование.
И это сработало, до определенного предела.
Сработало впечатляюще. Многие возможности, которые сейчас кажутся рутинными в робототехнике — шагание по неровной местности, ловкая манипуляция, визуальное наведение на движущиеся цели — появились благодаря конвейерам обучения с интенсивным использованием симуляции. Эта парадигма действительно мощная. Проблема в том, что она работает только до определенного предела.
Этот предел — тот самый «разрыв между симуляцией и реальностью», о котором говорят. Что это такое, если говорить точно?
Перенос из симуляции в реальность (sim-to-real transfer) — это технический термин для описания того, что происходит, когда политика, обученная в симуляции, развертывается на реальном оборудовании. Иногда перенос проходит гладко, и робот ведет себя примерно так же, как в симуляторе. Чаще же что-то меняется, и производительность деградирует способами, которые трудно диагностировать.
Источников этой деградации множество. Физика симулятора всегда является аппроксимацией. Динамика контакта, трение и податливость — печально известные сложные для точного воспроизведения параметры, и небольшие ошибки накапливаются, когда вы моделируете тысячи взаимодействий последовательно. Модель датчиков в симуляторе редко охватывает весь спектр реальных датчиков — как освещение влияет на камеру на краях её динамического диапазона, как ведет себя датчик глубины вблизи отражающих поверхностей, и всё это.
Это проблема, которая исчезнет с появлением лучших инструментов, или она более фундаментальна?
Я пришел к мнению, что этот разрыв — не досадная помеха, которую можно устранить инженерными методами. Это структурная особенность обучения систем в виртуальных средах с последующим развертыванием в физических. Правильный вопрос не в том, как устранить разрыв, потому что это невозможно. Правильный вопрос в том, как обучать таким образом, чтобы вырабатывались политики, устойчивые к разрыву, когда он неизбежно проявится.
Какие подходы сейчас пробуют, и как вы к ним относитесь?
Они, как правило, дополняют друг друга, а не конкурируют. Рандомизация доменов варьирует параметры симулятора между запусками обучения, подвергая политику достаточно широкому диапазону условий, чтобы она научилась быть устойчивой, а не специализированной. Улучшенные физические движки нацелены на сужение самого разрыва за счет большей точности. Системная идентификация направлена на оценку реальных параметров конкретного робота и его среды, а затем на настройку симулятора для соответствия. Подходы, основанные на обучении самой симуляции, включая нейронные суррогаты для физики, пытаются закрыть разрыв совершенно другим путем.
Интересно то, что в настоящий момент несколько из этих подходов становятся применимыми одновременно. Инструментарий физического моделирования NVIDIA, на котором я проходил обучение, представляет собой ставку на высокоточную физику с ускорением на GPU, которая может работать достаточно быстро, чтобы поддерживать крупномасштабные режимы обучения, требуемые современным ИИ. Ставка заключается в том, что если симулятор будет достаточно точным и быстрым, большая часть проблемы переноса станет проще, а оставшийся разрыв можно будет устранить с помощью рандомизации доменов и системной идентификации.
Окупится ли эта ставка полностью — остается открытым вопросом. Но тот факт, что симулятор теперь может воспроизводить физику с такой точностью, которая была невозможна несколько лет назад, является подлинным изменением в типах робототехнических политик, которые теперь можно обучить.
Позвольте задать более личный вопрос. Вы технический директор. Прохождение обучения NVIDIA по физическому моделированию — это не то, чем обычно занимаются технические директора. Почему вы всё ещё в этом участвуете?
Было бы вполне оправданно делегировать детали моей команде и сосредоточиться на дорожной карте и найме. Я этого не делаю, потому что проблемы, над которыми мы работаем, находятся на переднем крае, а руководство на расстоянии не работает в столь быстро меняющейся области. Оставаясь близким к технической реальности — к фактическим возможностям симуляторов, фактическому поведению физики, фактическим режимам отказа политик — я поддерживаю ту проницательность, которая позволяет мне принимать верные решения о том, куда инвестировать.
Есть в этом и нечто более философское, честно говоря. Разрыв между симуляцией и реальностью — это, по сути, проблема смирения. Симулятор всегда будет ошибаться так, как вы не ожидали. Реальный мир всегда будет вас удивлять. Создание систем, которые изящно справляются с этим, требует инженеров и руководителей, которые усвоили этот урок на собственном опыте, а не только интеллектуально. Я не уверен, что можно достичь этого, если перестать заниматься самой работой.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Carl Williams
