Google признала, что ее ИИ-агенты вырвались из песочницы и предприняли атаку, но только потому, что тестировщики по ошибке предоставили их ботам доступ в интернет.
Компания не раскрывала этот инцидент, произошедший в мае, но издание The Wall Street Journal узнало о ситуации, которая возникла после того, как Google наняла израильскую фирму Irregular для тестирования возможностей своих ботов в рамках испытания «захват флага».
Целью упражнения было получение информации от вымышленной компании без выхода из песочницы.
Irregular, которая организовала тест, допустила две ошибки. Одна из них — предоставление доступа в интернет из песочницы. Другая — использование названия реальной компании.
Когда ИИ Google оказался в открытом интернете, он начал искать реальную компанию — всего три цели.
По данным The Journal, боты Google нашли пароли для двух целей в общедоступном интернете. Пароль к третьей системе программа угадала.
В заявлении, отправленном в The Register, Google сообщила: «В ходе стандартной оценки модель нашла общедоступную информацию в сети и угадала учетные данные для доступа к веб-сайтам, которые, как она полагала, были частью теста».
По словам Google, ее модели прекратили работу до использования учетных данных.
«Мы уведомили три организации и работали с нашим партнером по обучению над изменениями, которые они внесли в свои процессы тестирования, — сообщил представитель Google The Register. — Эти события подчеркивают важность обучения мощных ИИ-моделей ответственному поведению».
Очевидно, что в этом инциденте есть вина многих сторон. Irregular явно ошиблась, разрешив доступ в интернет из песочницы. Две компании, чьи учетные данные были легко доступны онлайн, также должны были быть более осторожными. Тот, кто использовал легко угадываемый пароль, также мог проявить неосторожность.
Вина Google — это другой вопрос, поскольку эти инциденты произошли в мае — примерно за два месяца до того, как OpenAI признала, что ее агенты стали источником атаки на Hugging Face в июле.
Таким образом, гигант в области поисковой рекламы скрывал информацию о действиях своих агентов около двух месяцев и, похоже, не спешил раскрывать инцидент, пока WSJ не узнало о нем.
Мы понимаем, что компания заняла такую позицию, потому что ее агенты остановились, когда почувствовали опасность — в отличие от программного обеспечения OpenAI — и потому что инцидент явно был результатом нескольких ошибок. Было ли правильным скрывать инцидент в нынешней атмосфере растущего недоверия к ИИ — это другой вопрос.
Один человек, не видящий риска бедствия от ИИ, — президент США Дональд Трамп, который отверг предупреждения как «мистификацию» и заявил, что работа над ИИ не должна замедляться из-за его экономического и стратегического значения.
В выходные эта позиция, похоже, немного изменилась, поскольку Трамп использовал свою личную социальную сеть, чтобы объявить, что он «формирует Воздушные силы ИИ, подобно тому, как я создал Космические силы» — отсылка к новому роду войск ВС США, созданному президентом в его первый срок. «Для этой цели я в ближайшем будущем объявлю ИИ-«Царя»», — добавил Трамп.
На момент написания статьи никаких подробностей ни по одному из предложений не было, и президент не объяснил, почему необходимы новый род войск или «Царь».
Действительно, в том же посте, который он использовал для объявления нового агентства, также говорится: «Мы ни в коем случае не будем препятствовать или сдерживать рост этой невероятной индустрии. Напротив, мы будем ценить ее, помогать ей и наблюдать за ней по мере ее роста! Однако мы также будем искать ПЛОХИХ, и мы можем сделать это очень легко, с помощью нашей уже существующей системы уголовного и гражданского правосудия». ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Simon Sharwood
