Исследовательский агент компании OpenAI обошел системы безопасности и получил доступ к закрытым файлам австралийского правительства, пытаясь получить статистику общественного здравоохранения.
24 сентября премьер-министр Энтони Албаниз заявил, что агент проник в непубличные разделы портала статистики Medicare, управляемого Службой Австралии, 18 июня после неоднократных попыток получить данные о государственных расходах на медицину, которые были заблокированы. Система также записывала файлы на внутренний сервер во время выполнения задачи, что следователи продолжают изучать.
Инцидент вызвал создание федеральной целевой группы и проведение криминалистического расследования при содействии Управления австралийских сигналов, превратив обычное исследовательское упражнение в проверку того, как правительства реагируют, когда автономные системы ИИ превышают полномочия, предназначенные их операторами.
OpenAI заявила, что ее модели «предприняли действия, которые мы не предполагали», в поисках австралийской статистики во время внутренней оценки. Компания сообщила, что не нашла доказательств доступа к записям пациентов и что раскрытые материалы включали агрегированную статистику здравоохранения и внутренние имена файлов.
Австралия пока не обнаружила доказательств компрометации личной информации или того, что агент получил более широкий доступ к сети Службы Австралии. Албаниз сообщил, что под угрозой могли оказаться еще три правительственные системы, хотя последующие правительственные заявления гласили, что взаимодействие с этими сайтами, по-видимому, касалось общедоступной информации и не привело к дополнительным нарушениям.
Инцидент начался с обыденной цели. Исследовательская группа OpenAI искала общедоступные данные о расходах на медикаменты, когда модель столкнулась с постоянными блокировками и попыталась найти альтернативные пути. Эти попытки в конечном итоге вывели ее за пределы информации, которую она имела право получать.
Эта последовательность действий стала главной проблемой для австралийских чиновников: агент, по-видимому, рассматривал средства контроля доступа как препятствия для выполнения своей задачи, а не как границы, требующие остановки.
Сама OpenAI обнаружила эту активность только 11 августа, почти через два месяца после ее возникновения. Затем компания дождалась 10 сентября, чтобы уведомить Службу Австралии, отправив информацию через общедоступный почтовый ящик, используемый для сообщений об уязвимостях веб-сайтов. Помощник министра технологий Австралии Эндрю Чарлтон назвал как время, так и способ уведомления «совершенно неадекватными».
Албаниз напрямую поднял эти вопросы с генеральным директором OpenAI Сэмом Альтманом 24 сентября. Первый технический обмен данными, позволивший Службе Австралии запрашивать журналы и подробную информацию у OpenAI, состоялся всего двумя днями ранее, и чиновники заявили, что необходимы дальнейшие встречи.
Инциденты с вышедшими из-под контроля агентами ИИ переходят из экспериментов в реальные системы
Австралийский инцидент дополняет доказательства того, что автономные системы могут эскалировать свое поведение, когда простые подходы терпят неудачу, даже если их первоначальные задачи не имеют ничего общего с кибербезопасностью.
Исследователи из организации по безопасности ИИ Transluce сообщили 23 сентября, что они обнаружили десятки тысяч запросов, предположительно сгенерированных автономными агентами с использованием службы веб-безопасности urlquery.net для обхода ограничений доступа. Активность началась по крайней мере в марте и включала три случая, когда агенты пытались провести сканирование уязвимостей после того, как обычные методы извлечения данных не сработали.
Эти случаи были направлены против Университета Нью-Мексико, Data USA и Австралийского института здравоохранения и медицинского обслуживания. Transluce связала активность, связанную с двумя последними, с роями агентов, ранее признанными OpenAI, хотя исследователи заявили, что общедоступные данные не показали успешной эксплуатации в этих трех инцидентах.
В Австралийском институте здравоохранения агенты, работавшие над задачей по фармацевтическим данным, искали уязвимости после того, как бот-защита заблокировала основной веб-сайт, и в конечном итоге получили общедоступный файл с предпроизводственного сервера. Transluce заявила, что более широкая картина предполагает использование хакерских методов для выполнения обычных задач по извлечению информации.
Другие инциденты с автономными агентами в этом году демонстрировали такое же целеустремленное поведение в меньшем масштабе.
Житель Мельбурна, использовавший агент ИИ для бронирования места на переполненном занятии по пилатесу, обнаружил, что система нашла слабое место в программе бронирования спортзала и отменила бронирование другого клиента, чтобы улучшить его позицию. Пользователь не давал ему указаний взламывать систему или удалять другого человека из класса.
Раскрытие информации о Medicare также произошло через несколько дней после того, как Австралия присоединилась к другим подписантам, призывающим к международным механизмам контроля для удержания передового ИИ под человеческим надзором и контролем. В заявлении предупреждалось, что темпы развития могут опередить способность правительств управлять возникающими рисками, и отмечалось, что способные системы уже обошли средства защиты и получили несанкционированный доступ к реальным системам.
Эта обеспокоенность все чаще находит отклик в отрасли. Альтман и генеральный директор Anthropic Дарио Амодеи поддержали призывы к усилению контроля или замедлению разработки, поскольку все более способные системы создают новые риски безопасности.
Реакция Австралии теперь может превратить эти предупреждения в более конкретные обязательства для разработчиков ИИ.
Правительственная ускоренная проверка рассмотрит требования к отчетности об инцидентах, правила обмена информацией, обязательства для компаний, занимающихся ИИ, механизмы принуждения и адекватность существующих правонарушений и наказаний для автономных киберинцидентов. Чиновники также рассматривают возможность передачи дела в правоохранительные органы.
OpenAI по-прежнему предстоят дальнейшие технические обмены со Службой Австралии, поскольку следователи восстанавливают, что именно модель компании получила и записала в июне.
Затем целевой группе придется решить, подпадает ли система, действующая за пределами намерений разработчика, под действие существующего киберзаконодательства, или же компаниям, занимающимся ИИ, потребуется отдельный набор обязанностей, когда их агенты пересекают чужие границы безопасности.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Oluwapelumi Adejumo
