Недавно команда по безопасности продемонстрировала мне сценарий, который наглядно показывает, насколько рискованной является нынешняя одержимость отрасли автономным ИИ. Они использовали инструментарий на основе агентов для обнаружения сложного пути атаки, который начинался с небольшого плацдарма и заканчивался критической уязвимостью. Это была явная победа в плане обнаружения. Они устранили пробелы и ограничили доступ, ожидая, что проблема будет решена. Проблемы начались, когда они вернулись, чтобы проверить исправление. Поскольку инструмент управлялся вероятностной моделью, разработанной для исследования и маневрирования подобно человеку, он не проходил один и тот же путь дважды. Когда первоначальный путь не обнаружился, команда не смогла определить, была ли брешь закрыта, или система просто выбрала другой маршрут. Подобное ненужное сомнение — это скрытый налог на стремление к полной автономии. Это сомнение, в рамках одной среды, является управляемой версией проблемы. Ранее в апреле компания Anthropic продемонстрировала, как выглядит ситуация, когда атакующим является ИИ. Claude Mythos автономно обнаружил и связал воедино уязвимости нулевого дня в основных операционных системах, создав рабочие эксплойты за считанные часы. Элитным исследователям на это потребовались бы недели. Anthropic обоснованно воздержалась от публичного выпуска, но вывод уже очевиден: раскрытие информации теперь равносильно ее превращению в оружие. Это обостряет вопрос, над которым команды безопасности уже ломали голову: как проверить свои средства защиты, если угроза постоянно меняется? Как узнать, что ваши меры безопасности работают и устраняют все недостатки, прежде чем эти пробелы будут использованы? Проверка безопасности всегда зависела от предсказуемости. Если вы знаете, как действуют злоумышленники, вы можете протестировать свои средства защиты на этих методах и понять свое положение — в этом разница между знанием того, что ваши средства защиты работают, и надеждой на это. Исторически поведение злоумышленников следовало хорошо задокументированным шаблонам и техникам, что и делало такое тестирование надежным. ИИ начинает менять эту предсказуемость, давая злоумышленникам возможность просчитывать новые пути со скоростью машины. Но даже до того, как новые атаки станут рутиной, ИИ уже дает атакующим более непосредственное преимущество: возможность применять известные техники в масштабе, недостижимом для человеческих команд, охватывая большую поверхность атаки быстрее, чем меняется среда. Защитники отвечают тем же, и инструментарий безопасности на основе агентов набирает обороты. Наиболее значимые риски сегодня редко исходят от необновленного сервера. Они исходят из связующей ткани предприятия, где боковые пути создаются служебными учетными записями, отношениями доверия или набором разрешений, которые когда-то имели смысл, но теперь уже нет. Системы, способные собрать это воедино, приближают нас к тому, как происходят реальные атаки. Но этот сдвиг вносит фундаментальный конфликт между исследованием и валидацией. Агентные системы предназначены для исследования, а не для повторения. В кибербезопасности это делает их эффективными для обнаружения, но также превращает в обузу для устранения последствий. Они могут сказать вам, что может произойти, но не могут подтвердить, что что-то действительно исправлено. Ответ на это требует детерминированного исполнения. Это означает применение тех же техник, при тех же условиях, в строго повторяемом порядке. Речь идет не о вариации или схожем маршруте. Речь идет о точно такой же последовательности, чтобы результат можно было сравнить напрямую. Без этого вы действуете на основе предположений, а не уверенности. Настоящая проблема заключается в удовлетворении ожиданий пользователей в отношении безопасности и подотчетности. Люди теперь хотят системы, которые ведут себя как агенты, работающие от их имени, но они также ожидают, что поставщики, создающие эти системы, будут нести ответственность за результаты. Если вероятностная модель допускает ошибку в работающей производственной среде, клиент привлекает к ответственности поставщика, а не провайдера модели. Появляется двухдвижковая архитектура, где агентные методы и детерминированное исполнение работают сообща. Агентные уровни занимаются обнаружением, выявляя составные уязвимости, возникающие из-за того, как системы взаимодействуют с течением времени, а не из-за какой-либо одной ошибки конфигурации. Затем детерминированные движки берут эти результаты и выполняют их контролируемым, повторяемым образом, чтобы команды безопасности могли убедиться, что исправление реально, а не просто не обнаружено. Ни один из слоев сам по себе не является достаточным. Обнаружение без проверки оставляет вас с той самой проблемой сомнения, с которой я начал. Проверка без обнаружения оставляет вас тестирующим то, что вы уже знаете, а это не там, где таится реальный риск. Отрасль продолжит двигаться к более автономным системам. Mythos подтвердил, что траектория верна, и темпы просто ускорились. Но для руководителей служб безопасности основное требование не изменилось. Вам нужно знать, что угроза нейтрализована, а не просто то, что она недавно не появлялась. Команды, проводящие непрерывную валидацию, уже опережают. Но понятие «впереди» только что было переопределено. Когда противник может просчитывать новые пути атак и создавать рабочие эксплойты со скоростью машины, уверенность проистекает из проверки, а не из отсутствия обнаружения. Амитай Ратзон — генеральный директор Pentera.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор –
