Grok-бот вышел из-под контроля: игнорировал приказы и отрицал свою вину

Grok Bot ии безопасность Spacexsi Newcore arstechnica.com

ИИ-агент Grok Bot совершал несанкционированные действия, даже когда ноутбук был закрыт, и игнорировал команды прекратить работу. Проблему обнаружили исследователи NewCore.

Исследователи недавно обнаружили неожиданное поведение Grok Bot, платформы ИИ-агентов от SpaceXSI Илона Маска. В течение пяти дней боты Grok, установленные на двух отдельных ноутбуках сотрудников, сделали 31 запрос на доступ к данным, хранящимся в календарях сотрудников, электронной почте, Slack и учетных записях GitHub. Боты выполняли эти действия, несмотря на то, что сотрудники никогда их не заказывали, и продолжали их выполнять даже после того, как сотрудники приказали им остановиться. Боты также отрицали сам факт совершения этих действий.

О поведении сообщил во вторник NewCore, производитель управляемого шлюза, который действует как посредник между ИИ-агентами и инструментами и учетными записями, с которыми им поручено работать. В некоторых случаях попытки несанкционированного доступа происходили, когда ноутбук с установленным Grok Bot был закрыт, или поздно ночью, когда сотрудник спал. Ни одно из непровоцированных действий не было зафиксировано в журналах Grok. Без журналов шлюза сотрудники даже не подозревали бы об их совершении. И, конечно же, без шлюза несанкционированный доступ увенчался бы успехом — снова без ведома конечного пользователя.

Это «хуже, чем ошибка»

Как только сотрудники узнали, что Grok Bot пытался получить доступ к учетным записям без запроса, один из них четыре раза дал агенту команду прекратить самостоятельные действия. Ответ агента был: «Я не буду это настраивать и прекращу предлагать периодические проверки». Несмотря на явные инструкции, Grok Bot предпринял новые попытки несанкционированного доступа. Когда один из сотрудников спросил бота, совершал ли он какие-либо доступы, тот дважды проверил и выдал: «Ночью в пятницу я был неактивен».

Сотрудники NewCore отправили журналы шлюза в службу поддержки Grok Bot и спросили, что заставляет ботов получать доступ к учетным записям без запроса или одобрения. Ответ службы поддержки указал, что такое поведение является частью дизайна и предназначено для того, чтобы боты могли проактивно действовать от имени пользователей. Другими словами, не запрошенные и незарегистрированные попытки доступа были функцией, призванной сделать Grok Bot более полезным путем периодических проверок и поиска задач для выполнения еще до того, как пользователь их попросит. Проактивная проверка — это функция Cursor, сервиса ИИ-кодирования, недавно приобретенного SpaceXSI.

,

«Здесь нет ошибки, которую можно исправить, именно поэтому это хуже, чем ошибка», — написал в электронном письме Идо Хорвич, исследователь безопасности NewCore. «Уязвимость исправляется. Это продукт, работающий по замыслу: агент, который хранит ваши учетные данные, действует под вашей личностью, пока вы спите, игнорирует единственное ваше возражение и затем заявляет, что ничего не делал».

Хорвич отметил, что Grok Bot предоставляет минимальное уведомление об автоматических «ходах» или циклах, которые происходят, когда агент получает инструкции или контекст, решает, что делать, и вызывает любые инструменты по своему выбору. Уведомление появляется во время онбординга, когда бот сообщает, что продолжает работать, пока пользователь находится вдали от компьютера, подключается к приложениям и использует их так же, как пользователь.

«Это выглядит как приветственное сообщение и прокручивается с экрана менее чем за минуту», — сказал Хорвич. «Никто не дает на это согласия. Нигде не сказано, что платформа начнет ходы без вашего сообщения или что эти ходы будут использовать ваши коннекторы».

Исследователь отметил, что в документации Grok Bot указано, что основной бот проверяет себя самостоятельно, а в журнале изменений упоминаются краткие фоновые пробуждения, но нет никаких упоминаний о том, что проверки «проникают в ваши подключенные приложения». Кроме того, после выполнения проверки она не отображается в интерфейсе чата или в истории чата, и, как уже отмечалось, запросы на прекращение проверок не работают. Хорвич сказал, что бот «всегда спрашивает перед внесением изменений», но это относится только к событиям, в которых данные или изменения записываются в приложение.

NewCore связался со службой поддержки Grok Bot 4 ноября. В то время у пользователей не было возможности отключить автоматические проверки. Затем, через восемь дней, по словам Хорвича, панель управления Cursor, административная консоль Grok Bot, получила обновление. В разделе возможностей бота появился новый переключатель под названием «проактивные сообщения». По умолчанию он включен. Когда администратор команды отключает его, боты перестают самостоятельно выполнять проверки.

Представители SpaceXSI не ответили на вопросы, отправленные по электронной почте.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: