Исследователи в области машинного обучения разработали метод, позволяющий мировым моделям делать более точные прогнозы поведения объектов.
Мировые модели используются для обучения физических систем ИИ, таких как роботы, навигации в реальном мире. Они предсказывают последствия действий, основываясь на наблюдаемых данных. Однако эти модели могли бы давать роботам более точные указания, если бы они могли делать выводы о возможных действиях без необходимости обучения на всех возможных исходах.
Рэндалл Балестьери (Университет Брауна, AMI Labs), Керда Вараку и обладатель премии Тьюринга Ян Лекун (Нью-Йоркский университет, AMI Labs) описывают подход, который может позволить это сделать, в препринте «Контрфактические мировые модели: Natura Non Facit Saltus».
Латинское выражение отсылает к аксиоме Готфрида Лейбница «природа не делает скачков», которая была актуальна до тех пор, пока не столкнулась с квантовой механикой. Тем не менее, для авторов эта фраза объясняет, как им удалось разработать метод для физического вывода в режиме zero-shot.
Контрфактические мировые модели, как пояснил Балестьери в электронном письме изданию The Register, используют «расхождение между вашим прогнозом и реальным миром, чтобы понять, что вы сделали неправильно, и на основе этого лучше понять, что произошло, для улучшения будущих прогнозов, отладки, рассуждений — всё это во время тестирования».
Модели JEPA (Joint Embedding Predictive Architecture), разработанные Лекуном и его коллегами в 2023 году, были предложены для роботов, поскольку они могут принимать действие в качестве входных данных и спрашивать, каким был бы мир при таком действии.
Однако мировая модель JEPA выдает среднее значение исходов и не может предвидеть контрфактические сценарии — события, которые не произошли. Разработанная исследователями техника не специфична для JEPA — она может быть применена к любой мировой модели, которая прогнозирует среднее следующее состояние при любом действии. Но модели JEPA особенно хорошо подходят для адаптации.
Балестьери отметил, что эксперименты с контрфактическими мировыми моделями проводились с использованием готовых кодировщиков (DINOv2 и MAE) без какой-либо донастройки и лишь с небольшим предиктором, обученным поверх них. Создание контрфактической мировой модели с этой отправной точки потребует лишь незначительных дополнений.
Контрфактические мировые модели более эффективно прогнозируют альтернативные сценарии, выводя возможности из того, что произошло.
«В причинно-следственном выводе ответ на вопрос «Что бы произошло, если бы я действовал иначе?» требует трех шагов», — пояснил Балестьери. «Вы используете то, что наблюдали, чтобы узнать что-то о скрытых факторах, меняете действие и снова прогнозируете, сохраняя скрытые факторы точно такими же, какими они были. Наша контрфактическая мировая модель выполняет все три шага одним вычитанием».
Балестьери привел пример из статьи: лодка, пересекающая реку со скрытым течением, и то, как мировая модель JEPA и контрфактическая мировая модель предсказали движение лодки.
«Мировая модель предсказала, где окажется лодка после поворота налево, а на самом деле она оказалась на два метра дальше по течению», — объяснил он. «Эти два метра — это следствие течения, которое произошло. Чтобы ответить на вопрос «Где была бы лодка, если бы я повернул направо?», мы берем прогноз мировой модели для поворота направо и добавляем те же два метра. Другими словами, контрфактическое событие — это то, что произошло на самом деле, плюс разница между прогнозами модели для альтернативного действия и для предпринятого действия. Физика оправдывает это правило, а не является уравнением, которое модель подгоняет. За короткое время эффект действия и эффект течения пропорционально растут со временем, в то время как их взаимодействие растет только с квадратом времени, поэтому на коротких интервалах они просто складываются, как силы. Мы доказываем, что доля ошибки этого правила в эффекте возмущения уменьшается с квадратом временного шага, и что ни один метод, использующий те же обычные данные, не может в худшем случае сделать лучше, чем эта скорость».
По словам Балестьери, контрфактические мировые модели имеют три вероятных применения. Первое — это возможность для робота повторить действие после неожиданного события.
«Когда попытка терпит неудачу из-за чего-то, что робот не мог видеть, например, неожиданной нагрузки, течения или слабого мотора, контрфактическая мировая модель позволяет ему оценить, какое действие сработало бы в той же ситуации», — пояснил он. «В наших симулированных задачах выбор действия таким образом позволяет достичь цели в 35–69% случаев, по сравнению с 14–23% для планировщика, который знает истинный симулятор, но игнорирует наблюдаемый результат. С еще двумя попытками в том же событии успех возрастает до 51–97%».
Он также считает, что эти модели могут быть полезны для адаптации к постоянным сбоям, таким как не откалиброванный мотор, и для помощи людям в понимании причин сбоев.
«Мировые модели обучаются прогнозировать, и они преуспевают в этом», — сказал Балестьери. «Но робот, автомобиль или дрон, действующий в реальном мире, постоянно сталкивается с неожиданностями, которые он не мог предвидеть. После неожиданности полезный вопрос заключается уже не в том, что ожидалось, а в том, что бы произошло, если бы он действовал иначе в той же ситуации. Вам нужен этот ответ, чтобы отладить сбой, отличить плохую сделку от невезения или решить, что делать при следующей попытке, а простое прогнозирование этого не дает».
Первоначальные попытки исследователей решить эту проблему включали добавление изученного компонента к мировой модели, который выводит любое скрытое возмущение (например, течение в сценарии с лодкой), повлиявшее на ожидаемый результат. Но этот подход оказался слишком хрупким.
«Попытка понять, почему, привела к теории», — пояснил Балестьери. «Изучение возмущения по обычным данным не просто сложно, а в общем случае невозможно: скрытый шум может быть перемаркирован по-разному для каждого действия, не изменяя ни одного прогноза, поэтому данные не могут сказать вам, какая маркировка правильная. Отсутствующий фрагмент должен поступать извне данных. Для физических систем он исходит из того, что силы складываются, а их взаимодействие медленно нарастает со временем. Как только вы это принимаете, изученная модель возмущения становится ненужной: разрыв между тем, что произошло, и тем, что было предсказано, уже несет необходимую информацию, и вы переносите ее на другое действие».
Балестьери отметил, что инженеры-управленцы десятилетиями внедряли подобные исправления для настройки созданных вручную моделей.
«Чего не хватало, так это понимания, почему такое же исправление оправдано для изученных мировых моделей, которые видят мир через изображения, что можно и нельзя восстановить без парных данных, и где это ломается», — сказал он. «В статье даются ответы на эти вопросы, связывая причинно-следственный вывод, управление и мировые модели. Название происходит от закона непрерывности Лейбница, natura non facit saltus, «природа не делает скачков», что является именно тем свойством, которое делает все это возможным».
Статья исследователей была предоставлена изданию The Register до ее публикации на ArXiv. Ожидается, что она выйдет на этой неделе. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
