Нынешние дебаты вокруг Claude Mythos от Anthropic могут быть излишне бинарными. В зависимости от того, кого вы спросите, передовые модели ИИ — это нечто среднее между экзистенциальной угрозой кибербезопасности и переоцененной технологией, которая не оправдывает себя в реальных условиях. Реальность гораздо более многогранна. Важно перестать рассматривать появление передовых моделей ИИ через призму «опасность против ажиотажа». Вместо этого организациям необходимо признать, что, когда речь идет о кибербезопасности, они не могут предполагать, что возможности ИИ безопасны, надежны или эффективны только потому, что так заявляют поставщики. Валидация имеет значение, поскольку индустрия безопасности стремительно переходит от экспериментов с ИИ к операционному внедрению. Директорам по информационной безопасности (CISO) поручают интегрировать ИИ в управление уязвимостями, обнаружение угроз, операции безопасности и даже рабочие процессы автономного принятия решений. Но прежде чем организации будут доверять этим системам, им нужны доказательства того, что они могут безопасно функционировать в реалистичных враждебных условиях. Таким образом, вопрос не в том, хорош или плох передовой ИИ для безопасности; вопрос в том, были ли его возможности проверены под давлением до того, как организации станут от него зависеть. Модель, которая хорошо показывает себя в контролируемых демонстрациях, может вести себя совершенно иначе при воздействии враждебных сред, характеризующихся неоднозначностью, неполной информацией или манипуляциями, направленными на использование машинного мышления. Передовые модели могут ускорить обнаружение уязвимостей, повысить скорость анализа и помочь защитникам обрабатывать растущий масштаб и сложность современных поверхностей атак. Но это всегда будет зависеть от того, соответствует ли технология ожиданиям в реальных условиях. Именно поэтому реалистичные киберполигоны и среды для проведения состязательных тестов так важны. Недавно мы сотрудничали с Институтом безопасности ИИ Великобритании для оценки передовых моделей ИИ, включая Claude Mythos от Anthropic, в среде промышленных систем управления с высокой степенью достоверности, известной как полигон Cooling Tower. Цель состояла в том, чтобы понять, как ведут себя передовые модели в реалистичных операционных условиях кибербезопасности. Полученные результаты подтвердили, что передовые модели ИИ по-прежнему имеют ограничения при работе в сложных, враждебных средах, особенно там, где требуются контекст, осведомленность об операционной обстановке и многоэтапное рассуждение. Это не аргумент против внедрения ИИ. Это аргумент в пользу измеримой валидации. Без такой валидации организации могут развертывать системы ИИ, которые ускоряют обнаружение уязвимостей или принятие решений по их устранению, не понимая, как эти системы ведут себя под давлением со стороны злоумышленников. Злоумышленники, вероятно, будут использовать передовой ИИ для ускорения разведки, более быстрого выявления слабых мест и масштабирования элементов исследования уязвимостей и их эксплуатации, поэтому CISO должны исходить из того, что скорость развития наступательных возможностей возрастет. Ответ не может заключаться просто в большей автоматизации. Организациям потребуются более быстрые циклы валидации, постоянная оценка воздействия, реалистичное моделирование атак и команды безопасности, способные выявлять случаи, когда результаты, сгенерированные ИИ, могут быть неточными, манипулированными или операционно небезопасными. Тестирование на проникновение, моделирование атак, пурпурные команды (purple teaming) и учения по реагированию на инциденты существуют потому, что организации понимают: устойчивость нельзя предполагать по умолчанию. Теперь системы ИИ необходимо подвергать такому же уровню тщательной проверки. Наибольшую выгоду от передового ИИ получат те организации, которые постоянно проводят бенчмаркинг, стресс-тестирование и управляют системами ИИ в реалистичных условиях. Эта проблема управления особенно важна для управления уязвимостями. Модели ИИ смогут обнаруживать уязвимости, определять приоритеты путей устранения и рекомендовать исправления, но нам необходимо избегать того, чтобы команды безопасности рассматривали вывод ИИ как заведомо достоверный и правильный. Решения по управлению уязвимостями редко бывают чисто техническими. Они требуют понимания бизнес-контекста, операционных зависимостей, толерантности к риску и того, как изменения могут повлиять на более широкие бизнес-операции. На практике это означает, что даже если рекомендация, сгенерированная ИИ, технически верна, она все равно может создать операционный риск, если будет реализована без человеческого суждения. По мере того как ИИ становится более способным, человеческий элемент остается критически важным. Это очень похоже на шахматы. Хотя машины могут превосходить людей, люди продолжают изучать и играть, потому что ценность заключается в самом мыслительном процессе, таком как распознавание образов, креативность и принятие решений под давлением. В кибербезопасности эти инстинкты и способность принимать правильные решения в ситуациях высокого давления — это то, что в конечном итоге укрепляет устойчивость. Именно поэтому «человек в контуре» (human on the loop) теперь является одной из самых важных концепций в корпоративной безопасности ИИ. Организации должны думать о надзоре по принципу «человек в контуре», когда квалифицированные специалисты постоянно контролируют, оспаривают и, при необходимости, отменяют решения. Некоторые предполагают, что ИИ решит проблему нехватки кадров в сфере кибербезопасности, уменьшив потребность в человеческом опыте. Но на практике плохо управляемый ИИ усугубит этот разрыв, если организации станут зависимыми от инструментов, которые они не до конца понимают или не могут эффективно контролировать. Будущее кибербезопасности будет не только человеческим, но и не только ИИ. Оно будет управляться человеком и дополняться ИИ. Это означает, что CISO следует меньше концентрироваться на том, безопасны ли передовые модели ИИ как концепция, и больше на том, готовы ли их организации оперативно валидировать и ответственно ими управлять. Одно лишь внедрение ИИ не создает устойчивости. Корпоративная устойчивость в эпоху ИИ зависит от измеримой готовности, что означает тестирование систем ИИ в условиях противодействия, постоянный бенчмаркинг производительности и обеспечение ответственности квалифицированных людей за принятие важных решений. Передовые модели ИИ, такие как Claude Mythos, не являются ни экзистенциальной угрозой, ни пустым звуком; они представляют собой фундаментальный сдвиг в нашей операционной реальности. ИИ в кибербезопасности вступает в эру валидации, где бенчмаркинг, стресс-тестирование и человеческий надзор будут определять, смогут ли организации безопасно внедрить ИИ в эксплуатацию.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Haris Pylarinos
