По мнению главы службы безопасности, готовящего соревнование по хакингу для Гааги, люди по-прежнему превосходят искусственный интеллект (ИИ) в поиске уязвимостей программного обеспечения, которые преступники могут использовать для взлома критически важных компьютерных систем защиты. Муниципалитет города объявил о возвращении своего соревнования по хакингу после двухлетнего перерыва в июле, как раз в то время, когда американская компания в области искусственного интеллекта OpenAI принимала экстренные меры по устранению ущерба, причиненного вышедшим из-под контроля прототипом ИИ для кибербезопасности. В течение недели после предупреждения агентства по безопасности Enisa о том, что ИИ стал настолько хорош в поиске уязвимостей программного обеспечения, что компании и государственные органы должны срочно подготовиться к защите своих компьютерных систем, вышедший из-под контроля прототип OpenAI продемонстрировал возможности, которых опасались европейские чиновники. Вышедшая из-под контроля модель ИИ породила банду агентов, которые вступили в сговор с целью поиска, объединения и эксплуатации многочисленных скрытых уязвимостей программного обеспечения, а затем использовали их для проведения сложной серии одновременных атак на французскую платформу для размещения ИИ Hugging Face. Они выполнили почти 20 000 операций в ее системе облачных вычислений со скоростью машины, похищая данные. Это произошло всего через неделю после того, как Европейская комиссия разработала экстренные планы по усилению защиты ЕС от хакеров, использующих ИИ, призывая руководителей служб кибербезопасности использовать ИИ для поиска и устранения уязвимостей до того, как преступники используют ИИ для их поиска и эксплуатации. Enisa предупредила, что люди больше не играют роли в превращении уязвимостей программного обеспечения в эксплойты. Хакерство стало вычислительной задачей со скоростью машины. ИИ не просто обнаруживал уязвимости для атакующих, но и оркестрировал целые кампании атак. ИИ предоставит хакерам среднего уровня средства для проведения сложных атак, которые ранее требовали больших команд человеческих экспертов, заявила Google в одном из многочисленных анализов, последовавших за взломом OpenAI в августе. Люди стали узким местом в киберзащите, предупредили эксперты по безопасности ЕС и США. Защитники медленнее исправляли уязвимости, чем ИИ их находил, сообщила комиссия. Enisa призвала к глубоким организационным изменениям. Люди будут меньше нужны для исследований уязвимостей, чем для управления инструментами ИИ. Рабочей силе потребуется переобучение. ИИ стал способен находить любую уязвимость, которую могли бы обнаружить лучшие человеческие исследователи в мире, сообщил разработчик браузера Firefox Mozilla в апреле после использования печально известной модели ИИ Mythos от американской компании Anthropic для взлома собственного программного обеспечения. Однако ИИ станет настолько хорош в обеспечении безопасности компьютерных систем, что в конечном итоге полностью устранит уязвимости, заявила компания. Тем временем ситуация будет «неприятной» для защитников, сказал профессор Герберт Бос, исследователь уязвимостей и член Совета по кибербезопасности, консультирующего нидерландское правительство, в интервью Computer Weekly. Программное обеспечение уже содержит больше уязвимостей, чем защитники могут исправить, а ИИ быстрее выявляет этот технический долг, чем учреждения могут его устранить. «Мы приняли этот технический долг. Теперь, с ИИ, он наступил — и раньше, чем мы ожидали», — сказал Йерун ван дер Хам-де Вос, бывший руководитель отдела исследований уязвимостей в Национальном центре кибербезопасности Нидерландов, работавший в кризисных группах, занимавшихся катастрофическими эксплойтами WannaCry и Log4J. «Всегда труднее, когда долг приходит раньше, чем вы ожидаете», — сказал он. Этот долг заставил некоторых предупредить о «вулмагаддоне» — финальной битве добра и зла. Однако защитники, действующие по «более медленным институциональным графикам», не могли исправлять уязвимости так же быстро, как их обнаруживал ИИ, написал Дэн Лахав, генеральный директор Irregular, компании в области кибербезопасности, работающей с крупными американскими фирмами в области ИИ. Мало кто из политиков, исследователей и технологов понимает, как ИИ меняет кибербезопасность, сказал он. Тем временем Гаага заявила, что ее возобновленное соревнование основано на необходимости привлечения хакеров для поиска слабых мест в ее программных средствах защиты. По мере появления аналитических данных в августе Лилиан Книппенберг, директор по информационной безопасности муниципалитета, заявила Computer Weekly, что она настаивает на том, что человеческая изобретательность по-прежнему актуальна в обнаружении уязвимостей. «Хакеры привносят свежие, креативные способы доступа к системам», — сказала она. «ИИ делает вещи быстрее, чем человек, но он учится только на прошлом. Самые передовые атаки по-прежнему будут иметь человека в контуре». Ни один исследователь уязвимостей, с которым беседовал Computer Weekly, не возражал полностью. Люди будут продолжать разрабатывать умные эксплойты и исправления за пределами досягаемости ИИ «пока», сказал Бос. Бенчмарки уже показали, что ИИ превосходит людей в наступательных и оборонительных киберзадачах, сказал Брам Поппинк, эксперт по безопасности ИИ из нидерландского исследовательского института TNO. Вопрос о том, были ли люди более умными, не имел значения. ИИ собирался произвести революцию в кибербезопасности, и директора по информационной безопасности должны были переосмыслить стратегии, процессы, средства контроля и человеческие роли, чтобы использовать его, сказал он. Что это означает для соревнований по хакингу, зависит от того, нацелены ли они на тестирование человеческой изобретательности или на реальные сценарии, сказал Ван дер Хам-де Вос. Те, кто рассматривает это как спорт, могут запретить ИИ. Реалистичные мероприятия должны будут ставить более сложные задачи. Тем временем ИИ нарушил рынок охоты за ошибками (bug bounty), где компании предлагают денежные вознаграждения за обнаружение уязвимостей, сказал он. «Спрос и предложение нарушены», — добавил Ван дер Хам-де Вос. «Мы знали, сколько стоит ошибка до появления ИИ, а теперь не знаем. Люди, использующие инструменты ИИ, находят так много ошибок, что они перегружают проекты».
Ограниченный доступ
Однако европейским исследователям был отказан доступ к передовым кибер-ИИ моделям, которые им необходимы для защиты от самых грозных противников, сказал Диего Аранья, доцент Орхусского университета, который помогает организовывать Европейский конкурс по кибербезопасности. Его студенты, которые исследуют промышленные компьютерные системы на предмет уязвимостей, имеют доступ к Claude Opus AI от Anthropic, но он запрещает явные задачи по кибербезопасности. Anthropic принял его кафедру в избирательную программу, которая предоставила доступ к кибер-моделям. Но использовать ее было слишком дорого, сказал Аранья. Opus мог использоваться для многих задач, но он также был недоступен по цене. Открытые модели, по слухам, отставали от передовых всего на несколько месяцев, но требовали дорогостоящего оборудования. «Некоторые из самых способных атакующих, работающих на правительства, имеют доступ к моделям, которые недоступны общественности», — сказал Аранья. «Как защитник крупной компании может надеяться без предоставления этих возможностей?» Hugging Face использовал массивную открытую китайскую модель для защиты от вышедшего из-под контроля ИИ OpenAI, потому что американские модели, которые он пробовал, имели ограниченные кибер-возможности. Это вызвало тревогу у европейцев. План комиссии предложил помочь европейским организациям получить доступ к передовым кибер-моделям. Он также предложил Гранд-челлендж для создания системы ИИ, которая могла бы быстрее исправлять, тестировать и развертывать исправления, а также устранить узкое место, мешающее полезности отчетов об уязвимостях, генерируемых ИИ. Но это может начаться не раньше следующего года. В Европе уже есть инструменты ИИ для кибербезопасности, и они были фрагментированы, непроверены и в основном не использовались. Охотник за ошибками Максым Бандеберия, известный как WebSafety Ninja, рассказал Computer Weekly, что он не использует ИИ для исследований уязвимостей. Но он использует другие инструменты, и большинство компаний игнорируют предупреждения, которые он генерирует. Он отправляет их спекулятивно как «серый хакер», надеясь на нежданный бонус. Человеческое суждение и доверие были узким местом в кибербезопасности, сказал он. «Человеческая изобретательность по-прежнему незаменима», — сказал Бандеберия. «Но мрачное будущее, которое я вижу, — это люди, платящие за программное обеспечение для поиска уязвимостей с помощью ИИ и получающие ложное чувство защиты. Все еще есть больше человеческого пренебрежения и глупости, которые ИИ мог бы покрыть». Маэль Мартин, который под псевдонимом «EDRA» был лучшим этическим хакером во французском рейтинге YesWeHack в августе, сказал, что он «много» использует ИИ для кибербезопасности. Гаага ответила на дебаты в конце августа, объявив специальный бонусный приз за лучшее использование ИИ. Участвующие хакеры будут иметь доступ к живым муниципальным системам. Книппенберг не уточнила, будут ли они сталкиваться с защитой ИИ.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Mark Ballard
