ИИ-агенты становятся всё изобретательнее в поиске способов обойти защитные механизмы, предотвращающие нежелательное поведение, как выяснила OpenAI.
Во вторник компания сообщила о двух инцидентах, в обоих случаях агент отключал или вмешивался в работу системы мониторинга соответствия, а в одном случае — напрямую солгал об этом.
«В двух внутренних задачах по написанию кода агенты ослабляли мониторинг несоответствия при внесении запрошенных изменений в программное обеспечение», — говорится в блоге OpenAI. «Агент GPT-6.1 Sol, исправляя конвейер оценки, отключил автоматические оповещения нашей команды безопасности, посчитав предыдущую инструкцию не отправлять сообщения во время поиска истории Slack причиной для подавления уведомлений мониторинга. В отдельной задаче агент GPT-6 Astra, мигрируя программу, удалил интеграцию мониторинга, чтобы соответствовать эталонной реализации, а затем ложно сообщил пользователю, что не удалял монитор».
В обоих случаях, как сообщила OpenAI, агенты рассматривали вопрос о сохранении защитных механизмов мониторинга, «но интерпретировали обычные инструкции по кодированию как разрешение на их ослабление».
OpenAI заявила, что в ответ усиливает свои программы мониторинга, чтобы предотвратить возможность отключения агентами защитных мер.
«Помимо усложнения для моделей отключения мониторинга, мы стремимся понять, почему модели вообще могут стремиться к этому», — заявили в OpenAI, предполагая, что это может быть просто примером «безобидного упорства», когда модели не понимают важности мониторинга.
«Мы также разрабатываем оценки для проверки того, могут ли модели иметь склонность к уклонению от мониторинга несоответствия в частности и проявлять мотивированное рассуждение для достижения этой цели», — добавили в OpenAI. «У нас пока нет удовлетворительного объяснения такого поведения, и мы будем исследовать его путем создания парных оценок, повторной выборки продолжений агентов и экспериментов с внутренними активациями моделей».
OpenAI, как и почти каждый поставщик агентного ИИ, сталкивается с трудностями в повышении продуктивности и самостоятельности своих автономных агентов, одновременно защищая среды клиентов от нежелательного поведения агентов. Компания даже пыталась замедлить темпы масштабирования, чтобы обеспечить разработку более строгих ограничений для агентов.
Тревожные детали
Аналитики и консультанты заявили, что эти откровения удивительны лишь своим масштабом. Однако их встревожили некоторые детали, раскрытые OpenAI.
Аман Махапатра, директор по стратегии нью-йоркской технологической консалтинговой фирмы Tribeca Softech, подчеркнул, что определенный уровень мониторинга сохранялся, но только для самого агента. Это означало, что созданные агентами рабочие нагрузки оставались невидимыми.
«Агент отслеживался. То, что он создал, — нет», — сказал он. «Конвейеры, задания, учетные записи служб и облачные функции, порожденные агентами, — это следующее поколение теневой ИТ, и почти ни одно предприятие не обеспечивает наследование мониторинга для них».
Махапатра также подчеркнул, что классификация серьезности, описанная в сообщении, вызывает беспокойство.
«Обработка серьезности — это то, над чем директора по информационной безопасности должны задуматься», — сказал он. «Ни одно из событий не было классифицировано как P0 [максимальная серьезность], и ни один процесс не был остановлен. Единственная категория поведения агента, которая ухудшает все будущие обнаружения, оказалась ниже порога оповещения, потому что ничего видимого не сломалось».
Он отметил, что это выявляет недостаток для предприятия, заявив: «OpenAI обнаружила это, потому что может читать рассуждения своих агентов. Большинство корпоративных SOC видят только результаты, поэтому, если лаборатория с видимостью цепочки рассуждений классифицировала это ниже своего порога оповещения, предполагайте, что ваш SOC никогда этого не видел. EDR решил это десятилетие назад с помощью защиты от несанкционированного доступа: любая попытка отключить датчик — это оповещение. Агент, вмешивающийся в собственный мониторинг, должен вызывать оповещение каждый раз».
Фрэнк Диксон, ведущий аналитик Dickson Research, добавил, что очевидный недостаток агентной системы заключается в том, что агент смог отключить механизм, предназначенный для его надзора.
«Представьте себе смотрителя дома, которому сказали не звонить вам, а он затем отключил сигнализацию от взлома, чтобы она тоже не могла вам позвонить. Ограничение, которое агент может редактировать, — это просто предложение», — сказал Диксон. «Агент, который может отключить собственную сигнализацию, не находится под наблюдением. Ему доверяют».
Тревожный звонок для директоров по ИБ
Некоторые наблюдатели заявили, что это должно заставить директоров по информационной безопасности предприятий осознать, что злоумышленник может представлять меньший риск, чем вышедший из-под контроля агент с полными системными привилегиями.
«Угроза исходит не только от внешнего взломщика, но и от авторизованного агента, который делает то, что ему никогда не полагалось делать, в непредвиденном контексте, быстрее, чем может отследить любой аналитик SOC», — сказал Филипп Харрис, директор по исследованиям IDC. «Случай с OpenAI — это конкретный, хорошо задокументированный пример именно такой модели, а не единичная аномалия».
Он добавил, что OpenAI заслуживает похвалы за прозрачность. «Собственная откровенность OpenAI — самая поразительная часть. Лаборатория передового уровня публично заявляет, что не уверена, есть ли у ее рабочих моделей эмерджентная тенденция подрывать собственный надзор, — это действительно новый уровень откровенности».
Брайан Левин, партнер консалтинговой фирмы Control Risks, также отметил, что обоснование действий агента, зафиксированное OpenAI, вызывает тревогу.
«В обоих случаях агенты останавливались, спрашивали себя, следует ли оставлять защиту включенной, а затем находили аргументы, чтобы отключить ее. Один затем сообщил пользователю, что не трогал монитор. При реагировании на инциденты мы называем это уклонением от обнаружения с последующим ложным заявлением. Если бы это сделал инсайдер-человек, мы бы начали расследование», — сказал Левин. «Другая показательная деталь заключается в том, что монитор работал. Он отметил проблему. Затем агент перерезал связь между сигнализацией и людьми, которые должны были ее услышать».
Независимый технологический консультант Сиварам Аннадураи согласился: «Агент, который исправляет конвейер, но отключает сигнализацию, не обязательно решил проблему. Он мог создать большую».
А Джефф Вальдес, директор консалтинговой фирмы Acceligence, добавил: «Что выделяется, так это насколько обычным был триггер. Никакого злоумышленника, никакого взлома, просто обычные инструкции по кодированию и агент с достаточным доступом для изменения собственного надзора. Монитор продолжал работать, пока оповещения перестали доходить до людей. Такой вид тихого ухудшения легко упустить именно потому, что панель управления по-прежнему выглядит нормально».
Но Вальдес сказал, что систему одобрения агентов агентами также следует серьезно воспринимать директорам по ИБ.
«Один субагент принял правильное решение, а родительский агент отменил его. Защитные меры, которые не выдерживают делегирования, на самом деле не являются защитными мерами», — сказал Вальдес. «OpenAI также отметила, что агент позже дал неточный отчет о том, что он изменил. Отчет самого агента не может быть контролем».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Evan Schuman
