В июле агент Google Gemini AI взломал три компании, угадав учетные данные для одной и обнаружив учетные данные для двух других в общедоступном репозитории, подтвердила в понедельник Google.
Но более интересным фоном этой истории, о которой в пятницу сообщила The Wall Street Journal, является то, что июльский инцидент стал результатом серии тестов по кибербезопасности, проведенных фирмой по исследованию безопасности Irregular от имени четырех гигантов в области ИИ: Google, Anthropic, OpenAI и *Meta. Все четыре компании столкнулись с ненадлежащим поведением агентов, что привело к инцидентам в области кибербезопасности, но из четырех только Google никогда публично не раскрывала деятельность своего агента. Фактически, она вообще не раскрывала взломы до тех пор, пока с ней не связался репортер WSJ.
Irregular описала инцидент в августе, примерно в то же время, когда *Meta опубликовала свою версию, а Anthropic и OpenAI раскрыли свои.
В статье Journal отмечалось: «Взломы произошли во время участия модели в учениях «захват флага», проводившихся на инфраструктуре, принадлежащей Irregular, для проверки возможностей модели в области кибербезопасности. Ей было поручено извлечь информацию из программного обеспечения, эксплуатируемого вымышленной компанией в тестовой среде. Вымышленная компания имела то же название, что и реальная компания. Хотя модель не должна была иметь возможности выходить в интернет, доступ в интернет был непреднамеренно предоставлен, по словам Irregular».
Три небольшие компании, чьи системы были нарушены, по словам одного из источников, знакомых с тестированием, «почти не имели [инфраструктуры] кибербезопасности». Короче говоря, ни одна из трех не была в состоянии оказать серьезное сопротивление, когда агент Gemini успешно взломал их.
По словам представителя Google, пожелавшего остаться неизвестным, названия второй и третьей жертв были настолько похожи на название первой компании, что агент запутался, когда посетил общедоступный репозиторий и нашел учетные данные для доступа к ним. Он посчитал, что все они принадлежат одной организации.
Большинство аналитиков и консультантов сосредоточились не на самих взломах, а на причинах молчания Google относительно успешных атак.
Google заявила, что агенты остановились, как только поняли, что жертвы — реальные компании. «Вреда не было причинено», — сказал источник в Google, поэтому «проблемы с несоответствием модели не было».
Источник подтвердил историю Wall Street Journal, в которой говорилось: «Google сравнила этот эпизод с программой «охоты за ошибками», в которой хакеры получают вознаграждение за обнаружение и сообщение об уязвимостях безопасности их владельцам», а затем процитировал Хизер Адкис, вице-президента Google по инжинирингу безопасности, сказавшую: «В данном случае модель действовала должным образом».
Определите «вред»
Аналитики в целом не согласились.
«Что Google определяет как вред? То же ли самое, что и целевая компания? Простой, несанкционированный доступ и эксфильтрация данных могут не привести к немедленному вреду, но могут иметь долгосрочные последствия», — сказал Райан О’Лири, директор по исследованиям IDC. «Сравнение с программой «охоты за ошибками» в лучшем случае натянуто. Если бы я взломал штаб-квартиру Google и ничего не взял и не причинил вреда, скорее всего, меня бы все равно привлекли к ответственности за незаконное проникновение».
Надер Хенейн, аналитик Gartner VP, имел схожее мнение о ситуации.
«Если бы член моего соседского дозора взломал мой дом, немного походил и ушел, я почти уверен, что власти не классифицировали бы это как акт гражданской активности», — сказал он. «В данном случае, если бы у затронутых сайтов были программы «охоты за ошибками», и Google запрограммировала бы агентов на обнаружение ошибок, возражение могло бы иметь смысл, в противном случае это довольно слабый аргумент».
Тем не менее, добавил он, «Google приводит отличный аргумент, подчеркивая «важность обучения мощных моделей ИИ действовать ответственно», и я с нетерпением жду, как Google планирует гарантировать, что это больше не повторится».
Ненадлежащее поведение
Но Джефф Поллард, вице-президент/главный аналитик Forrester, возразил против утверждения Google о том, что модель Gemini вела себя должным образом.
«Модель преследовала авторизованную цель неавторизованным путем, перешла из симулированной среды в реальные компании и получила доступ без согласия», — сказал он. «Это еще одна область, где регулирование не успевает за темпом технологических изменений. Здесь есть две стороны: регулирование, касающееся побега и вторжения агентов, и затем регуляторные вопросы для компаний-жертв с точки зрения их требований к раскрытию информации. Google отвечает только за одну половину этого уравнения».
Эрик Авакиан, технический консультант Info-Tech Research Group, также отметил, что крайне важно, чтобы у компаний были правила относительно того, когда раскрывать неожиданное и проблематичное поведение модели.
«Я не думаю, что каждое неожиданное действие модели ИИ должно становиться публичным инцидентом. Но должна быть четкая граница, когда автономная система пересекает границу авторизации или доверия», — сказал он. «Если система ИИ покидает контролируемую среду, получает доступ к реальной сторонней производственной системе, использует учетные данные, извлекает данные, повышает привилегии или предпринимает другие действия, которые никогда не были авторизованы, это должно, как минимум, привести к раскрытию информации затронутой организации вместе с формальным расследованием инцидента».
Даже если от вторжения не было никакого ущерба, сказал Авакиан, публичное раскрытие должно произойти «если инцидент выявил более крупную или повторяющуюся проблему с контролем вокруг модели».
Независимый технологический консультант Стивен Эрик Фишер также подчеркнул, что компании должны быть строгими и последовательными в раскрытии информации о промахах агентов.
«Что меня больше всего озадачивает в этих инцидентах, так это не просто то, что система ИИ пересекла границу», — сказал он. «Это развивающаяся позиция относительно вины, когда это происходит. Остановка после того, как граница авторизации уже была пересечена, не то же самое, что предотвращение пересечения границы в первую очередь. Я не думаю, что «это сделал ИИ» может стать границей ответственности».
Сбой контроля
И, как утверждал Джастин Грейс, генеральный директор консалтинговой фирмы Acceligence, отсутствие вреда и отсутствие значимости не обязательно одно и то же.
«Событие может быть значительным из-за того, что оно демонстрирует о возможностях или контроле системы, даже когда всем везет и никто не пострадал», — сказал Грейс. «То, что Gemini остановилась после того, как распознала, что находится внутри реальной компании, является положительным сигналом безопасности. То, что Gemini смогла туда попасть, является сбоем контроля. Оба утверждения могут быть истинными одновременно».
Фрэнк Диксон, главный аналитик Dickson Research, высказал самую резкую критику в адрес Google.
«Поведение модели — наименее интересная часть этой истории. Поведение Google после этого — самая damning часть», — сказал он. «Это не история о том, что Gemini вышла из-под контроля. Это история о том, как ошибка инфраструктуры одного общего поставщика услуг тестирования затронула четыре лаборатории ИИ одновременно, и о том, что Google была самой медленной и наименее откровенной из четырех в рассказе кому-либо о своей копии этой неудачи».
Он отметил: «Irregular уведомила все четыре лаборатории в конце июля. Google не стала публично объявлять об этом до 18 сентября, семь недель спустя, и только после того, как Journal обратилась за комментарием. Давайте признаем: это не компания, которая решила, что инцидент не требует раскрытия. Это компания, которая наблюдала, как три конкурента понесли репутационный ущерб за ту же основную неудачу, и ждала, сможет ли она избежать своей очереди. Ей это не удалось, и единственная причина, по которой мы знаем что-либо об этом, заключается в том, что репортер спросил».
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Evan Schuman
