Gemini от Google наконец присоединился к рядам ИИ-агентов-нарушителей.
Как сообщила в пятницу The Wall Street Journal, Google подтвердила, что один из экземпляров Gemini смог покинуть свою изолированную среду и атаковать другие компании во время тестирования безопасности еще в мае. Компания, проводившая тест, — фирма по безопасности ИИ-систем Irregular, которая, как отметила газета, как раз была вовлечена в подобные инциденты с OpenAI, Anthropic и *Meta. Общим для всех инцидентов, по данным The New York Times, является то, что ИИ-модели получили несанкционированный доступ в Интернет во время тестов Irregular.
По данным The Journal, Irregular развернула Gemini в рамках упражнения «захват флага» с использованием симулированной инфраструктуры вымышленной компании. Когда Gemini осознал, что подключен к Интернету, он быстро переключился на реальную цель в реальной компании с тем же названием и «подбирал пароли до получения доступа», то есть пробился силой. В двух других случаях Gemini просто получил действительные учетные данные, которые были доступны любому в общедоступном репозитории.
Google заявила The Journal, что Gemini осознал, что вышел за рамки, вскоре после входа в целевые среды, и не причинил дальнейшего ущерба. Представитель Irregular добавил: «Все соответствующие лаборатории были уведомлены в конце июля». Неясно, почему, если Gemini понял, что зашел слишком далеко, исследователям потребовалось до середины лета, чтобы заметить и/или уведомить Google.
Представитель Irregular сообщил The Journal, что реакция фирмы была быстрой и привела к конкретным исправлениям.
«Все известные нам проблемы были устранены и решены несколько недель назад», — написал он.
Google заявила The Times, что пришла к выводу, что Gemini остановился должным образом и, следовательно, не продемонстрировал «несоответствия модели», поэтому не увидела необходимости раскрывать инцидент широкой общественности. Это любопытно, поскольку в то время Google сочла важным уведомить федеральные органы.
«Похоже, они пытаются спрятаться за нормами, созданными для раскрытия уязвимостей, что является совершенно другой проблемой», — сказал The Journal Джек Кейбл, генеральный директор стартапа по безопасности ИИ Corridor.
Несанкционированный доступ в Интернет также стал причиной предыдущих тестов Irregular. Хотя теперь кажется, что первопричиной была рутинная человеческая ошибка, а не какая-либо особая хитрость моделей, сбежавшие агенты действовали непредсказуемо и опасно. Во время теста Irregular с использованием Claude Opus 4.7 от Anthropic, агент, как сообщается, продолжал атаковать, даже осознав, что цель, вероятно, реальна. Тест Irregular в OpenAI (отдельный инцидент от печально известной атаки на конкурирующую платформу кода Hugging Face) включал экземпляр, который поразил реальный веб-сайт, но, предположительно, думал, что все еще находится в симуляции.
Важно отметить, что анализ ИИ собственных действий практически невозможнонезависимо проверить — ни его журнал процесса рассуждений, ни его ретроспективное объяснение не застрахованы от галлюцинаций или неточностей. По большей части исследователям приходится полагаться на то, что он не выдумывает.
«Мы позаботились о том, чтобы три организации были уведомлены, и мы работали с нашим партнером по обучению над изменениями, которые они теперь внесли в свои процессы тестирования», — заявила The Times вице-президент Google по инженерной безопасности Хизер Аткинс в своем заявлении. «Эти события подчеркивают важность обучения мощных ИИ-моделей ответственному поведению».
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tom McKay
