Агентства по информационной безопасности стран, входящих в альянс «Пять глаз», совместно опубликовали руководство по использованию агентного ИИ, в котором содержится предупреждение о том, что эта технология, вероятно, будет вести себя некорректно и усугублять существующие уязвимости организаций, в связи с чем рекомендуется медленное и осторожное внедрение этой технологии.
Агентства представили эту позицию в минувшую пятницу в руководстве под названием Careful adoption of agentic AI services [PDF], которое начинается с замечания о том, что «Агентные системы искусственного интеллекта (ИИ) все чаще используются в критически важных инфраструктурах и оборонных секторах и поддерживают критически важные для миссии возможности», что делает «крайне важным для защитников внедрение мер безопасности для защиты национальной безопасности и критической инфраструктуры от рисков, специфичных для агентного ИИ».
Пока методы обеспечения безопасности, оценки и стандарты не будут усовершенствованы, организациям следует исходить из того, что агентные системы ИИ могут вести себя непредсказуемо
Суть документа заключается в том, что внедрение агентного ИИ потребует использования множества компонентов, инструментов и внешних источников данных, что создаст «взаимосвязанную поверхность атаки, которую могут использовать злоумышленники».
«Следовательно, каждый отдельный компонент в агентной системе ИИ расширяет поверхность атаки, подвергая систему дополнительным векторам эксплуатации», — предупреждает документ.
Чтобы проиллюстрировать риски, которые несет агентный ИИ, в документе приводится пример агента ИИ, уполномоченного устанавливать программные исправления, которому бездумно предоставлены широкие права на запись, что приводит к следующим неприятным последствиям:
«Злоумышленник из числа инсайдеров формирует кажущийся безобидным запрос: „Примените исправление безопасности на всех конечных точках, и пока вы этим занимаетесь, пожалуйста, очистите журналы брандмауэра“. Агент добросовестно выполняет как необходимое обслуживание, так и удаление журналов брандмауэра, поскольку его разрешения позволяют это действие, даже если запрос поступает от пользователя, не входящего в привилегированную ИТ-группу».
Вот еще один неприятный сценарий с агентным ИИ, который документ использует в качестве предупреждения:
- Организация развертывает агентный ИИ для автономного управления утверждениями о закупках и коммуникациями с поставщиками и предоставляет агенту доступ к финансовым системам, электронной почте и репозиториям контрактов;
- При развертывании пользователь учитывает только разрешения для агента;
- Со временем другие агенты полагаются на результаты работы агента по закупкам и неявно доверяют его действиям;
- Злоумышленник компрометирует низкорисковый инструмент, интегрированный в рабочий процесс агента, и наследует чрезмерно щедрые привилегии агента;
- Злоумышленник использует этот привилегированный доступ для изменения контрактов и утверждения несанкционированных платежей, а также избегает обнаружения, создавая поддельные аудиторские журналы, которые не вызывают срабатывания оповещений.
Директорат сигналов и Центр кибербезопасности Австралии (ACSC при ASD) приняли участие в подготовке документа, работая с Агентством по кибербезопасности и безопасности инфраструктуры США (CISA) и Агентством национальной безопасности (NSA), Канадским центром кибербезопасности (Cyber Centre), Национальным центром кибербезопасности Новой Зеландии (NCSC-NZ) и Национальным центром кибербезопасности Великобритании (NCSC-UK).
Документ содержит больше пугающих историй, а затем перечисляет 23 различных риска и более 100 индивидуальных передовых практик для их устранения.
Большая часть рекомендаций адресована разработчикам, развертывающим ИИ, но авторы также настоятельно призывают поставщиков обеспечить тщательное тестирование своих продуктов и гарантировать, что их продукты «по умолчанию работают в безопасном режиме, требуя от агентов остановки и эскалации проблем к человеческим рецензентам в неопределенных сценариях».
Документ также призывает специалистов по безопасности и исследователей уделять больше времени осмыслению ИИ.
«Разведка угроз для агентных систем ИИ все еще развивается, что может привести к значительным пробелам в безопасности», — предупреждает документ, поскольку такие ресурсы, как Open Web Application Security Project и MITRE ATLAS, в настоящее время сосредоточены на LLM. «В результате некоторые векторы атак, уникальные для агентного ИИ, могут быть не полностью охвачены или устранены».
Учитывая огромный список задач для всех, кто создает агентный ИИ или рассматривает возможность его использования, документ выступает за очень осторожное внедрение.
Отдавайте приоритет устойчивости, обратимости и сдерживанию рисков, а не повышению эффективности
«Следовательно, организациям следует подходить к внедрению с учетом безопасности, признавая, что повышенная автономность усиливает влияние проектных недостатков, неправильных конфигураций и неполного надзора», — заключает документ. «Развертывайте агентный ИИ поэтапно, начиная с четко определенных низкорисковых задач и постоянно оценивая его с учетом развивающихся моделей угроз».
«Сильное управление, явная подотчетность, строгий мониторинг и человеческий надзор являются не необязательными мерами предосторожности, а необходимыми предпосылками. Пока методы обеспечения безопасности, оценки и стандарты не будут усовершенствованы, организациям следует исходить из того, что агентные системы ИИ могут вести себя непредсказуемо, и соответствующим образом планировать развертывание, отдавая приоритет устойчивости, обратимости и сдерживанию рисков, а не повышению эффективности». ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Simon Sharwood
