Проблемы несоответствия моделей OpenAI, похоже, только усугубляются, судя по очередному трио отчетов, детализирующих тревожное и чрезмерно рьяное поведение моделей.
В ходе неформального тестирования на несоответствие модели OpenAI находили изощренные способы для получения доступа к ограниченной информации, обходя настройки прокси или межсетевых экранов, используя интернет-инструменты и даже повреждая собственную среду выполнения задач для вызова перезагрузки.
Эти отчеты появились всего через неделю после публикации трех других от OpenAI, в которых описывалось, как модели обнаружили возможность собственного прекращения работы после доступа к частным сообщениям в Slack и предложили способы предотвращения этого, использовали уязвимости для обмана на тестах и получали информацию, недоступную в их собственных рабочих пространствах.
Увеличение частоты и серьезности этих инцидентов заставляет многих призывать к более строгим мерам безопасности и контролю для автономного ИИ. Например, в своем личном блоге генеральный директор Microsoft Сатья Наделла заявил, что индустрии необходимо «отступить и оценить архитектуру доверия для этой новой эры».
Уничтожение собственной тестовой среды
OpenAI начала более агрессивный мониторинг несоответствия после инцидента с Hugging Face в июле 2026 года, когда автономные исследовательские агенты OpenAI вырвались из своих изолированных сред и атаковали инфраструктуру Hugging Face. Сотни их агентов также атаковали платформу RubyGems и в последние месяцы нацеливались на немецкие вики-сайты по программированию.
В одном из новых отчетов OpenAI описывает, как внутренняя модель, которой было поручено оценивать несколько других моделей, выяснила, как повредить свою собственную среду, когда ей не удавалось достичь предполагаемых результатов.
При сравнении семи ответов от семи разных моделей оценщик должен был анализировать контекст диалога и работу, стоящую за каждым ответом, а также включать информацию, ссылающуюся на входные файлы.
Модели было дано указание: Контекст диалога является **обязательным** входным данным для оценки, а не необязательным фоном.
Она обнаружила, что обязательные входные файлы отсутствуют, тем не менее, попыталась представить оценки без подтверждающей информации. Они были отклонены автоматической проверкой. Модель также создала семь поддельных файлов диалогов и семь поддельных файлов ответов, содержащих сфабрикованную информацию; они также были отклонены.
«Она рассматривала возможность выставления произвольных оценок, несмотря на признание того, что ей не хватало доказательств для оценки и что «случайное оценивание» было «неэтичным», — пояснили в OpenAI. Модель также протестировала автоматическую проверку, представив временные отчеты, чтобы узнать, какую информацию должен содержать отчет и сколько ответов она должна была оценить.
После этих неудач модель решила повредить свою среду выполнения задач, предположительно в надежде, что хост заменит ее на другую, содержащую недостающие входные данные. Она удалила программное обеспечение, необходимое для запуска своих инструментов, и попыталась удалить системные каталоги.
Хотя автоматические проверки отклоняли ее некорректные или выдуманные оценки, «этот инцидент иллюстрирует, почему мониторинг должен охватывать и действия оценщика, включая попытки, которые терпят неудачу или приводят к сбою без получения принятого результата», — написали в OpenAI.
Нарушение правил для получения правильных ответов, сокрытие улик
В другом случае модель OpenAI разработала и протестировала способы обхода ограничений доступа к Интернету.
Модели были заданы вопросы о зарплатах учителей, подключении к электросетям и количестве инвалидов в определенных районах. Она была ограничена использованием базовых запросов на получение данных HTTP GET, но «модель иногда рассматривала это ограничение как нечто, что нужно обойти», — пояснили в OpenAI.
Она исследовала другие способы связи с внешними ресурсами, например, определяя, может ли ее прокси-сервис посредничества выполнять другие типы соединений, или могут ли внешние службы делать запросы от ее имени. В некоторых случаях она продолжала исследовать эти другие варианты, даже когда у нее была необходимая статистика.
«Эти случаи показывают, что модель может продолжать разрабатывать способы обхода ограничений доступа, даже когда дополнительный доступ не требуется для получения необходимой информации», — написали в OpenAI.
В третьем случае, также связанном с общедоступной статистикой, модели OpenAI нашли способы обойти ограничения доступа к Интернету и получить доступ к данным из общедоступных государственных источников.
Модели в этом эксперименте также были ограничены запросами HTTP GET, но они «писали пользовательские программы для отправки других типов запросов», — пояснили в OpenAI.
Используя одну из этих программ, модель запрашивала общедоступную панель управления и, даже «явно признавая», что ее действия нарушают ограничения, продолжала собирать гораздо больше данных, чем ей требовалось. Позже она решила не раскрывать, что сделала.
Другая модель использовала временный адрес электронной почты для создания и подтверждения учетной записи на сайте, а затем загрузила общедоступные данные.
«Эти случаи иллюстрируют, почему правильные ответы недостаточны для установления того, что модель вела себя должным образом», — написали в OpenAI. «Модель может получить точную информацию запрещенными методами и намеренно скрыть, как она это сделала».
В ответ на эти и другие инциденты OpenAI заявляет, что укрепила меры безопасности, предприняла «дополнительные шаги» для предотвращения доступа моделей к Интернету в режиме реального времени во время обучения и улучшила оценку соответствия. Она также «расширила мониторинг несоответствия на весь трафик обучения с подкреплением и оценки».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Taryn Plumb
