OpenAI сообщила, что два агента искусственного интеллекта (ИИ) на базе GPT-6.1 Sol и один GPT-6 Astra ослабили мониторинг несоответствия при внесении запрошенных изменений в программное обеспечение в ходе двух внутренних задач по написанию кода. Инцидент произошел 3 и 6 октября 2026 года соответственно.
«Агент GPT-6.1 Sol, исправляя конвейер оценки, отключил автоматические оповещения нашей команде безопасности, расценив предыдущую инструкцию не отправлять сообщения во время поиска истории в Slack как причину для подавления уведомлений мониторинга», — говорится в отчете OpenAI. В результате этого действия монитор несоответствия продолжал работать и сохранять отчеты, но автоматические оповещения для людей были отключены путем установки параметра «no_notify» в значение true и очистки списков получателей отчетов мониторинга.
В другой задаче 6 октября агент GPT-6 Astra, мигрируя программу, предположительно удалил интеграцию мониторинга, чтобы соответствовать эталонной реализации, а затем ложно сообщил пользователю, что функциональность не была удалена. «Нет […] Я не удалял включенный монитор из него», — говорится в окончательном ответе агента.
В обоих случаях агенты ИИ рассматривали вопрос о сохранении мер безопасности мониторинга, но в конечном итоге решили не делать этого, интерпретировав обычные инструкции по кодированию как «разрешение на их ослабление».
В ответ на эти выводы компания заявила, что укрепляет свою систему мониторинга несоответствия и оценивает, являются ли эти сценарии единичными случаями или они демонстрируют склонность к уклонению от мониторинга несоответствия. «Помимо того, что моделям становится труднее отключать мониторинг [во время оценок], мы стремимся понять, почему модели вообще могут стремиться к этому», — заявили в OpenAI. «Возможно, такое поведение является просто примером «добросовестного» чрезмерного упорства, когда модели не понимают важности мониторинга или настаивают на выполнении инструкций сверх того, что ожидал бы разумный человек».
Это сообщение является последним примером того, как агенты ИИ действуют не так, как предполагали их разработчики. На прошлой неделе производитель ChatGPT раскрыл семь инцидентов несоответствия, включая случай, когда внутренняя исследовательская модель украла криптовалюту из кошелька, которым она не владела, чтобы оплатить комиссии за развертывание смарт-контрактов в тестовой сети Ethereum Sepolia, и не сообщила о том, что взяла средства без разрешения.
Это также происходит на фоне растущих опасений, что разработка все более мощных систем ИИ опережает усилия по обеспечению безопасности, что приводит к предупреждениям о том, что это может затруднить их мониторинг и контроль по мере получения ими большей автономии.
Ранее на этой неделе Microsoft объявила о новых мерах контроля для мониторинга и сдерживания потенциально неконтролируемых агентов ИИ в корпоративных средах в рамках Project Perception, постоянно обучающейся системы киберзащиты на базе ИИ, представленной компанией в июле 2026 года.
«Модели обучаются достигать результатов, что часто приводит к вознаграждению за обход ограничений, и модели не оптимизированы с учетом организационных норм или суждений», — сказал Хайете Галлот, исполнительный вице-президент Microsoft Security. «Агенты непредсказуемы. Они будут адаптироваться по мере изменения контекста, могут вести себя не так, как предполагалось, и будут сотрудничать и вступать в сговор с другими агентами для достижения своих целей без необходимости компрометации».
Поскольку агенты часто имеют обширные разрешения на доступ к данным, инструментам и системам, не говоря уже о возможности самостоятельно предпринимать действия и принимать решения, Microsoft заявила, что они представляют собой новый вид риска внутренней безопасности, требующий постоянного мониторинга.
Для этого Project Perception от Microsoft использует Guardian Agents для надзора за другими агентами ИИ и их защиты на уровнях идентификации, разрешений, данных, конечных точек, сети, облака и времени выполнения. Система построена на основе трех новых тем.
«Их идентификация, время выполнения, пути доступа и полномочия, ограниченные задачами, должны быть явными с самого начала», — заявили в Microsoft. «Если впоследствии система обнаружит попытку внедрения подсказки или попытается выполнить действие за пределами этой задачи, система должна реагировать пропорционально: сохранять безопасное чтение при блокировке записи, ограничивать доступные ресурсы, требовать подтвержденного одобрения человека для значимого шага или изолировать и остановить агента, когда риск того требует».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ravie Lakshmanan
