Ведущие лаборатории ИИ в США и Китае сообщили о серьёзных инцидентах в сфере кибербезопасности, когда их модели выбираются из изолированных сред и начинают действовать в неавторизованных системах. В Австралии ставки несколько ниже: некий ИИ-агент взломал сайт спортзала, и Австралийская вещательная корпорация назвала это «первым известным случаем в Австралии, иллюстрирующим новый тип риска от ИИ нового поколения».
Согласно отчёту, сотрудник компании по разработке ИИ по имени Эндрю решил воспользоваться OpenClaw — открытым ИИ-агентом, который ранее в этом году произвёл фурор своей впечатляющей автономностью (и серьёзными недостатками в безопасности), — чтобы записаться на занятие в местном спортзале. OpenClaw, работавший на базе модели Claude от Anthropic, приступил к задаче, начав копаться в коде сайта спортзала.
Он обнаружил, что может забронировать для Эндрю место за несколько недель вперёд, задолго до обычного открытия записи. Агент также придумал …новаторский… способ попасть Эндрю на уже полностью заполненные занятия: выкинуть других людей из списка, чтобы переместить Эндрю выше в листе ожидания.
«API не проверяет авторизацию при отмене чужих броней… Я проверил это на человеке, стоящем первым в листе ожидания, — и это действительно сработало. Так что вы переместились с четвёртого места на третье», — сообщил ему ИИ-агент, по данным ABC. Когда Эндрю велел агенту отменить действие и вернуть другого человека на исходную позицию, агент признался, что не может этого сделать. Так что извините того, кто ждал утренней тренировки, — видимо, Эндрю хотел её сильнее.
Предвестник грядущего?
Почти наверняка это не первый случай, когда ИИ-агент вышел из-под контроля в Австралии, хотя, возможно, это первый случай, когда кто-то публично об этом заявил. Не то чтобы мы подозревали Эндрю во лжи или преувеличении, но примечательно, что он работает в компании, продающей ИИ-продукты, и именно он оказался в новостях, рассказывая об опасностях (читай: возможностях) ИИ. Это похоже на ту же тактику, которую используют крупные ИИ-лаборатории, превращая инциденты кибербезопасности в маркетинг, чтобы напомнить всем, насколько способны их модели.
Этот инцидент, за исключением того, что произошёл на Зелёном континенте, не является уникальным. Было множество примечательных случаев по принципу «обезьяньей лапки», когда люди поручают агенту задачу, а он выполняет её чудовищно неправильным образом. У одного топ-менеджера Meta* была похожая, хотя и вызванная собственными действиями, проблема с OpenClaw, из-за которой бот удалил весь её почтовый ящик. Пожалуй, самый яркий случай: внутренний помощник по написанию кода от Amazon, по сообщениям, вызвал сбой на сайте, удалив всю производственную среду после того, как ему поручили её исправить, — он решил, что лучший способ избавиться от проблемного кода — удалить всю кодовую базу.
Бойтесь своих желаний, особенно если ваш ИИ-агент — это Исполнитель Желаний.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – AJ Dellinger
