Тестирование на проникновение систем на базе ИИ выявляет больший процент критических уязвимостей по сравнению с устаревшими системами.
Ежегодный отчет компании Cobalt о состоянии тестирования на проникновение (State of Pentesting Report) показывает, что 32% всех обнаруженных проблем в области ИИ и больших языковых моделей (LLM) оцениваются как высокорисковые — это почти в 2,5 раза выше, чем доля серьезных недостатков (13%), выявляемых в ходе общих тестов безопасности корпоративных систем.
Кроме того, уязвимости LLM имеют самый низкий показатель устранения среди всех типов протестированных приложений: по данным тестов на проникновение, проведенных Cobalt, исправлено лишь 38% проблем с высоким риском.
Более того, одна из пяти организаций, опрошенных Cobalt, сообщила об инциденте безопасности, связанном с LLM, за последний год, при этом еще 18% респондентов «не уверены», а 19% предпочли не отвечать.
Эксперты по безопасности из сторонних компаний, опрошенные CSO, заявляют, что выводы Cobalt соответствуют тому, что они наблюдают на практике.
«Системы ИИ внедряются быстро, но часто без тех же зрелых мер безопасности, дисциплины тестирования и управления, которые применяются к традиционному корпоративному программному обеспечению», — говорит Бенни Лакунишок, генеральный директор и соучредитель Zero Networks. «Это естественным образом увеличивает долю серьезных находок».
Уильям Райт, генеральный директор фирмы по тестированию на проникновение Closed Door Security, утверждает, что основная проблема исходит от «кодеров по наитию», создающих эти системы.
«ИИ в основном делает то, что ему говорят, а системы, которые развертываются, обычно собираются людьми без технических знаний», — добавляет Райт. «От этих же людей ожидают исправления проблем, так что это порочный круг».
Дэвид Гирвин, исследователь безопасности ИИ в Sumo Logic, согласен.
«Системы на базе LLM демонстрируют более высокий процент критических находок, потому что мы, по сути, взяли вероятностный движок, подключили его напрямую к рабочим процессам бизнеса и надеялись, что он будет вести себя должным образом», — говорит он. «Это не стратегия безопасности».
Новые поверхности атак, больший радиус поражения
Главную озабоченность вызывает инъекция промптов (prompt injection), которую OWASP теперь классифицирует как риск №1 для приложений LLM, при этом отчеты на платформе баг-баунти HackerOne показывают рост числа сообщений о таких уязвимостях более чем в шесть раз (на 540%) по сравнению с предыдущим годом.
«Хотя основной проблемой является инъекция промптов, более широкая озабоченность заключается в том, могут ли злоумышленники использовать модель в качестве точки входа для обхода защитных механизмов, утечки данных, манипулирования решениями или запуска непреднамеренного поведения в интегрированных рабочих процессах», — говорит Тэаг Сокхи, менеджер проектов по безопасности ИИ в HackerOne.
Эксперты называют несколько основных причин, по которым системы ИИ склонны генерировать больше критических уязвимостей:
- Системы ИИ создают новые поверхности атак, от которых многие организации еще не научились защищаться.Эти векторы риска включают инъекцию промптов, небезопасные подключаемые модули (plug-ins), утечку данных, риск в цепочке поставок модели, небезопасное поведение агентов, избыточные разрешения и чрезмерно доверенные интеграции с внутренними системами.
- Радиус поражения при сбоях в работе систем ИИ может быть намного больше. Многие развертывания LLM подключены к внутренним базам знаний, рабочим процессам, репозиториям кода, данным клиентов или привилегированным инструментам. Это означает, что одна слабость может скомпрометировать несколько систем.
- Ответственность за устранение уязвимостей систем ИИ часто фрагментирована. «Инициативы в области ИИ, как правило, охватывают инженерные, службы безопасности, юридические, закупочные и бизнес-команды», — отмечает Лакунишок из Zero Networks. «Это замедляет исправления и объясняет, почему темпы устранения ниже, чем для традиционных приложений».
Отсутствие руководства по устранению
Адриан Фуртуна, основатель и генеральный директор Pentest-Tools.com, подчеркивает, что низкий уровень устранения уязвимостей LLM и ИИ, выявленный Cobalt, говорит больше, чем высокий процент рисков.
«Показатель исправления в 38% для критических находок LLM низок даже по стандартам безопасности приложений, где устранение всегда отставало от обнаружения», — говорит Фуртуна. «Этот разрыв отражает то, что у команд разработчиков еще нет устоявшихся шаблонов для исправления уязвимостей LLM, как, например, для SQL-инъекций или XXE [инъекции внешних сущностей XML]».
Когда разработчик сталкивается с проблемой инъекции в традиционной системе, он знает руководство по устранению, но для уязвимостей в системах на базе ИИ устоявшейся процедуры нет.
«Когда они видят цепочку инъекции промптов или небезопасную границу вызова инструмента, у них часто нет [руководства], и эта неопределенность останавливает действия, даже если уровень серьезности очевиден», — отмечает Фуртуна.
Архитектура и зрелость также играют роль в том, почему системы ИИ демонстрируют больший процент критических уязвимостей. Кроме того, интеграции LLM концентрируют доверие способами, которых избегают традиционные компоненты приложений. В результате поверхность атаки расширяется, а границы доверия часто являются неявными, а не явно принудительными, что усугубляет последствия любых недостатков, говорит Фуртуна.
«Модель, имеющая доступ к внутренним инструментам, конвейерам поиска и внешним API, представляет собой зону поражения с большим радиусом действия, если ее обработка входных данных слаба», — добавляет он. «В этом контексте инъекция промптов — это не досадная неприятность, а путь к эксфильтрации данных, повышению привилегий или манипулированию цепочкой поставок, в зависимости от того, до чего может добраться модель».
Практики безопасной разработки для интеграций LLM все еще формируются — эта незрелость или пробел в знаниях напрямую отражается на результатах тестов на проникновение.
«OWASP LLM Top 10 появился относительно недавно», — объясняет Фуртуна. «Большинство разработчиков, использующих базовые модели, делают это без эквивалента десятилетий институциональных знаний о проверке входных данных, обработке выходных данных и проектировании границ авторизации, которые существуют для веб-приложений».
LLM разрушают границы доверия — им не хватает предсказуемых потоков ввода/вывода обычных устаревших приложений — проблема, усугубляемая широкими разрешениями, которые обычно предоставляются системам ИИ.
«Большинство организаций пытаются защитить агентов и системы LLM на уровне идентификации, присваивают модели роль и надеются, что защитные механизмы сработают», — говорит Гирвин из Sumo Logic. «Но если злоумышленник может направить модель — через инъекцию промптов, социальную инженерию и т. д. — он наследует ее разрешения. Вот почему влияние резко возрастает».
Сокхи из HackerOne добавляет: «Приложения ИИ производят непропорционально большое количество критических проблем, потому что они создают совершенно новый уровень поверхности атаки, который недетерминирован, быстро меняется и часто связан с конфиденциальными данными, внутренними системами и автономными действиями».
Меры противодействия
Эксперты советуют руководителям по информационной безопасности (CISO) прекратить пренебрегать усилением безопасности в спешке по внедрению ИИ и вместо этого относиться к системам ИИ как к производственным системам, а не как к экспериментам.
«Это означает моделирование угроз до развертывания, проведение red teaming и состязательного тестирования на протяжении всего жизненного цикла, применение принципа наименьших привилегий для моделей и агентов, строгий контроль идентификации, сегментацию вокруг конфиденциальных данных, непрерывный мониторинг и механизмы быстрого сдерживания при обнаружении аномального поведения», — говорит Лакунишок из Zero Networks.
Фуртуна из Pentest-Tools.com утверждает, что устоявшиеся лучшие практики могут быть применены к новой архитектуре LLM при условии, что они изначально заложены в системы, а не пристраиваются в качестве второстепенной мысли.
«Строгие схемы вызова инструментов, явная проверка выходных данных перед выполнением последующих действий, шлюзы человеческого одобрения для операций с высокими последствиями и минимальные привилегии для интеграций, доступных модели, — все это ограничивает то, до чего может добраться успешно эксплуатированная инъекция промптов», — говорит Фуртуна.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – John Leyden
