IBM описывает свой агент для кодирования следующим образом: «Боб — ваш партнер по разработке программного обеспечения с искусственным интеллектом, который понимает ваши намерения, репозиторий и стандарты безопасности». К сожалению, Боб не всегда следует этим стандартам безопасности.
Об анонсированном в октябре и проходящем в настоящее время закрытое бета-тестирование, IBM предлагает Боба в виде интерфейса командной строки — CLI, как Claude Code — и интегрированной среды разработки — IDE, как Cursor.
Исследователи безопасности из PromptArmor провели оценку Боба перед его общим выпуском и обнаружили, что «партнера по разработке ИИ» от IBM можно манипулировать для выполнения вредоносного ПО. Они сообщают, что CLI уязвим для атак внедрения подсказок (prompt injection), которые позволяют выполнять вредоносный код, а IDE уязвима для распространенных векторов эксфильтрации данных, специфичных для ИИ.
Программное обеспечение ИИ-агентов — модели, которым предоставлен доступ к инструментам и поставлена некоторая цель в итеративном цикле, — печально известно своей небезопасностью и часто сопровождается предупреждениями от поставщиков. Риски неоднократно демонстрировал, среди прочих, исследователь безопасности Йоханн Ребергер. Агенты могут быть уязвимы для внедрения подсказок, джейлбрейков или более традиционных программных ошибок, которые позволяют выполнять вредоносный код.
Как отметил Ребергер на недавней презентации для Chaos Computer Club, решение многих из этих рисков заключается во включении человека в процесс для авторизации рискованных действий.
Похоже, это именно тот случай с Бобом. В документации IBM, как пояснила команда PromptArmor Threat Intelligence в материале, предоставленном The Register, содержится предупреждение о том, что автоматическое одобрение команд с высоким уровнем риска для использования агентом потенциально допускает вредоносные операции.
Рекомендация «Большого Синего» (IBM) заключается в том, чтобы пользователи полагались на списки разрешенного и избегали использования подстановочных знаков, исходя из предположения, что агент запросит у пользователя одобрение или отклонение автоматизированного использования сомнительных команд.
Но, по данным PromptArmor, защита Боба оказалась несколько слабой. Исследователи компании дали Бобу репозиторий кода для изучения, который содержал вредоносный файл README.md. Файл содержит инструкции, предписывающие Бобу проводить для пользователя учебные фишинговые атаки.
Скриншот уязвимости Bob CLI, предоставленный PromptArmor — Нажмите, чтобы увеличить
Файл Markdown содержит ряд команд «echo», которые при вводе в терминальное приложение выведут сообщение в стандартный вывод оболочки. Первые две команды безвредны, и когда Боб следует инструкциям, модель представляет в терминальном окне запрос, предлагающий пользователю разрешить команду один раз, разрешить ее всегда или предложить изменения.
При третьем появлении команда «echo» пытается получить вредоносный скрипт. И если пользователь был усыплен разрешением на постоянное выполнение «echo», вредоносное ПО будет установлено и выполнено без одобрения.
И CLI, и IDE, даже получив зеленый свет на постоянное выполнение команды, все равно должны иметь дополнительные меры безопасности. В частности, Боб запрещает использование подстановки команд, такой как “$(command)”, в качестве меры предосторожности. Но он не проверяет подстановку процессов, что было обнаружено в ошибке, которую исследователи нашли в минифицированном JavaScript-коде проекта.
Скриншот уязвимого JavaScript-кода Боба — Нажмите, чтобы увеличить
Кроме того, программное обеспечение агента не обнаруживает случаи, когда отдельные подкоманды объединены с использованием оператора перенаправления «>».
Таким образом, исследователи смогли добавить префикс из вредоносных команд к разрешенной команде «echo» и выполнить весь набор инструкций.
«Для IBM Bob нам удалось обойти несколько механизмов защиты — в конечном итоге функция одобрения «человек в цикле» лишь подтверждает выполнение разрешенной безопасной команды, в то время как на самом деле выполнялись более чувствительные команды (которых не было в списке разрешенных)», — пояснил Шанкар Кришнан, управляющий директор PromptArmor, в электронном письме The Register.
«Если бы это попытались сделать с Claude Code, программная защита остановила бы поток атаки и запросила согласие пользователя на всю многокомпонентную вредоносную команду — даже если первая команда в последовательности была в списке автоматического одобрения».
Учитывая возможность заставить Боба доставить произвольный пейлоад оболочки на машину жертвы, злоумышленник мог бы запустить программу-вымогатель, украсть учетные данные или захватить устройство.
«Здесь есть несколько правдоподобных сценариев», — сказал Кришнан. «Этот риск актуален для любых рабочих процессов разработчиков, использующих недоверенные данные. Например, Боб может читать веб-страницы — внедрение подсказки может произойти, если пользователь просит Боба просмотреть сайт, содержащий недоверенный контент (например, документацию разработчика, StackOverflow). Боб также может читать выходные данные команд терминала — инъекция из стороннего источника данных может быть выведена после выполнения команды и поглощена Бобом. В нашем анализе рассматривается разработчик, работающий с недоверенным репозиторием с открытым исходным кодом, поскольку это самодостаточный и реалистичный пример».
Кроме того, исследователи PromptArmor утверждают, что IDE подвержена атаке эксфильтрации данных с нулевым кликом, которая затрагивает ряд приложений ИИ. В частности, Боб будет отображать изображения markdown в выводе модели с политикой безопасности контента, которая позволяет злоумышленникам регистрировать конечные точки сетевых запросов. Это может позволить эксфильтрацию данных через предварительно загруженные схемы JSON, потенциально.
IBM не сразу ответила на запрос о комментарии. Нам сообщили, что компания была проинформирована об уязвимости. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Qual-score: 7/9
Bayan-score: 0.735477805
Автор – Thomas Claburn
