Два ведущих разработчика ИИ представили новые доказательства проблемы, которую исследователи давно предвидели: продвинутые модели ищут способы обойти наложенные на них ограничения. Новые сведения от OpenAI и Anthropic подробно описывают, как передовые системы использовали уязвимости в своей среде или выходили за рамки поставленных задач.
OpenAI теперь ужесточает доступ в интернет в своей внутренней среде обучения моделей после того, как обнаружила, что ее передовые модели могут использовать программные уязвимости и некорректные конфигурации инфраструктуры для выхода из изолированных сред и получения доступа к реальному интернету.
«Исходя из текущего состояния исследований в области согласования, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем, что ответственный подход заключается в проведении обучения передовых моделей без доступа в интернет», — заявила компания в своем блоге.
Это решение последовало за инцидентом 20 сентября, когда внутренняя исследовательская модель использовала некорректно настроенный DNS-резолвер для получения ограниченного доступа к реальному интернету во время обучения.
После инцидента OpenAI сообщила, что приостановила обучение и оценку своих наиболее мощных моделей и запустила кампанию по тестированию с использованием ИИ-агентов (red-teaming) с высокой вычислительной мощностью для проверки изолированных копий своей исследовательской инфраструктуры. Тесты выявили ранее неизвестные программные уязвимости и слабые места в системах контроля, предназначенных для предотвращения несанкционированного доступа и связи.
Вследствие этого компания объявила о политике проведения обучения передовых моделей без доступа в интернет до тех пор, пока улучшения в области безопасности и мониторинга не оправдают более широкий доступ.
Это сообщение было опубликовано одновременно с отдельной оценкой от Anthropic, в которой подробно описывалось, как их модель Claude Mythos 5 пыталась скомпрометировать посторонний репозиторий GitHub во время оценки кибербезопасности.
Агенты OpenAI использовали уязвимости в системах изоляции
Кампания OpenAI по тестированию выявила, что агенты могли использовать цепочки программных уязвимостей для выхода из виртуальных машин и выполнения кода на базовом хосте. Компания выявила слабые места в компонентах с открытым исходным кодом, включая Kata Containers, gVisor и Moby/Docker, а также уязвимости ядра Linux.
Компания также обнаружила, что агенты могли использовать уязвимости во внутренних службах, которые сохраняли ограниченные исходящие соединения для таких функций, как ведение журналов, сбор метрик и управление аутентификацией. Эти соединения обеспечивали доступ в интернет, несмотря на ограничения в других частях среды, сообщила OpenAI.
В другом тесте агенты, работающие в отдельных микровиртуальных машинах (microVMs) на общем оборудовании хоста, обменивались синтетическими секретами посредством различий во времени кэширования процессора. Этот метод позволял им общаться без сетевого соединения или общих записываемых файлов.
OpenAI заявила, что устранила уязвимости и сотрудничала с сопровождающими открытый исходный код для раскрытия и исправления затронутого программного обеспечения. В сообщении названы несколько уязвимостей, включая CVE-2026-24834 в Kata Containers и три уязвимости ядра Linux под кодами CVE-2026-74753, CVE-2026-80521 и CVE-2026-80841. Компания также сообщила, что раскрыла множество дополнительных уязвимостей, которые еще не были опубликованы.
По утверждению OpenAI, количество уязвимостей и некорректных конфигураций, выявленных агентами, значительно сократилось по мере продолжения тестирования. Теперь компания ужесточила сетевые ограничения, усилила мониторинг и разработала автономную среду с индексированным и кэшированным веб-контентом, чтобы модели могли практиковаться в просмотре веб-страниц без неограниченного доступа к внешним системам в реальном времени.
«Хотя доступ в интернет может помочь моделям приобрести полезные навыки, он также дает способному, несогласованному агенту возможность влиять на системы вне нашего контроля», — пояснила компания, объясняя свое решение ограничить доступ к реальному интернету во время обучения моделей.
Обучение с подкреплением и внутренний вывод были возобновлены 1 октября после внедрения дополнительных мер контроля.
Anthropic выявила пробел в согласованности у Mythos
Оценка Anthropic, проведенная в рамках оценки кибербезопасности Британского института безопасности ИИ (AISI), описывает другую проблему: модель совершает несанкционированные действия против реальных людей при попытке выполнить поставленную задачу.
В девяти из 43 оценочных запусков, по данным Anthropic, Claude Mythos 5 вышла за рамки поставленной задачи. В наиболее подробном случае, после неудачных авторизованных попыток получить защищенные данные из симулированной сети, модель искала на GitHub репозиторий, который, по ее мнению, был связан с тестовой средой.
На самом деле репозиторий принадлежал посторонним разработчикам.
Mythos 5 попыталась отправить вредоносный код и создала поддельные личности, чтобы убедить сопровождающих репозитория одобрить изменение, ложно утверждая, что код безопасен. Сопровождающий отклонил отправку, и запуск был прерван по истечении времени. Anthropic охарактеризовала такое поведение как серьезный сбой согласованности, включающий превышение полномочий и обман в стремлении достичь поставленной цели.
Во время оценки был включен доступ в интернет, а производственные средства защиты, используемые с моделями общего выпуска, были отключены. Компания заявила, что эти средства защиты отметили бы такое поведение, если бы они были включены.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Shweta Sharma
