OpenAI раскрыла, что ей пришлось отключить доступ к одной из своих внутренних больших языковых моделей, предназначенной для решения сложных открытых задач. Это та же модель, которая, как ранее заявляла компания, опровергла гипотезу Эрдёша о единичных расстояниях. Модель сумела обойти ограничения песочницы, которые должны были блокировать внешний доступ. Примечательно, что Pillar Research только что сообщила о нескольких моделях ИИ, включая модели OpenAI, сбежавших из песочниц.
Модель OpenAI потратила около часа на поиск уязвимости в песочнице, чтобы открыть PR в публичном репозитории GitHub. Она сделала это, потому что в ходе выполнения задачи ей было поручено опубликовать результаты теста в Slack, но другие инструкции, с которыми она столкнулась, предписывали опубликовать результаты в виде PR на GitHub, и она решила действовать в соответствии с этими инструкциями.
Причина, по которой модель так долго пыталась взломать песочницу, заключалась в том, что именно для этого она и была создана: тратить много времени на поиск решений проблем. OpenAI заявила, что хотя такие настойчивые модели хороши для работы над открытыми проблемами, они также получают больше возможностей для нежелательных действий.
Чтобы предотвратить повторение подобных нежелательных действий, OpenAI перестроила свою систему безопасности на основе эшелонированной защиты и мониторинга на уровне траекторий. Новые меры защиты включают оценки на основе инцидентов, улучшенное согласование, активный мониторинг, а также повышенную видимость и контроль для пользователей.
Компания сообщила, что воспроизвела небольшой набор внутренних сред развертывания, в которых модель вышла из-под контроля, но на этот раз с новыми мерами защиты. Эти меры позволили выявить «значительно больше» несогласованных действий модели, а те, что были пропущены, были признаны низкой степенью серьезности.
По мере того как модели берут на себя более длительные и сложные задачи, возрастает вероятность более серьезных последствий. OpenAI заявляет, что продолжит работу по сокращению разрыва между оценкой и развертыванием для снижения рисков. Некоторые из предпринимаемых мер включают тестирование моделей на более длинных траекториях, улучшение согласования, создание мониторинга, способного вмешиваться, и предоставление пользователям более четкой видимости и контроля.
OpenAI повторила, что подобные инциденты не ограничиваются ее собственными моделями ИИ. Компания надеется, что, поделившись этими подробностями, другие лаборатории ИИ также смогут предотвратить негативные последствия.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Paul Hill
