Группа Google Threat Intelligence Group (GTIG) сегодня опубликовала доказательства существования эксплойта нулевого дня, разработанного киберпреступной группой с помощью ИИ. Это первый случай, когда исследовательская группа по безопасности обнаружила в реальных условиях то, что, по ее мнению, является эксплойтом нулевого дня, созданным с помощью ИИ.
Хотя свидетельства использования злоумышленниками моделей ИИ для исследования и обнаружения уязвимостей существуют уже некоторое время, случаи создания эксплойтов нулевого дня с помощью ИИ оказывались редкими или их было трудно подтвердить.
«Мы наблюдали, как известные угрозы киберпреступности объединяются для планирования массовой операции по использованию уязвимостей», — написали исследователи GTIG в новом отчете о злоупотреблении ИИ со стороны вредоносных атакующих. «Наш анализ эксплойтов, связанных с этой кампанией, выявил уязвимость нулевого дня, реализованную в сценарии Python, который позволяет пользователю обойти двухфакторную аутентификацию (2FA) в популярном инструменте системного администрирования на основе веба с открытым исходным кодом».
Хотя GTIG не назвала затронутый инструмент, команда уведомила об уязвимости поставщика и, возможно, предотвратила массовое использование. Однако подобные инциденты могут стать более распространенными, поскольку возможности рассуждения моделей ИИ развиваются до такой степени, что они могут обнаруживать логические ошибки высокого уровня, а не только базовые ошибки переполнения памяти и неправильной очистки вводимых данных.
Так было и со сценарием обхода 2FA, который требовал учетных данных для эксплуатации, но возник из-за того, что разработчики инструмента жестко закодировали неэффективное предположение о доверии.
«Хотя передовые большие языковые модели (LLM) с трудом справляются со сложной корпоративной логикой авторизации, они обладают растущей способностью выполнять контекстное рассуждение, эффективно считывая намерение разработчика для сопоставления логики принудительного применения 2FA с противоречиями ее жестко закодированных исключений», — заключили исследователи GTIG. «Эта возможность позволяет моделям выявлять скрытые логические ошибки, которые кажутся функционально правильными для традиционных сканеров, но стратегически нарушены с точки зрения безопасности».
GTIG предоставила достаточные доказательства, чтобы предположить, что модель ИИ использовалась как для обнаружения уязвимости, так и для написания эксплойта. Например, сценарий Python содержит обучающие строки и галлюцинированную оценку CVSS. Код также соответствует эталонным элементам программирования на Python, которые согласуются с обучающими данными LLM, но которые человек не стал бы включать в эксплойт, например, подробные меню справки и чистый класс цвета _C ANSI.
Другие свидетельства обнаружения уязвимостей с помощью ИИ
Хотя эксплойт 2FA не был разработан с использованием моделей семейства Gemini от Google, GTIG обнаружила другие случаи, когда известные злоумышленники пытались злоупотребить Gemini для обнаружения эксплойтов. Это согласуется с наблюдениями других передовых лабораторий ИИ, таких как Anthropic и Open AI.
Исследователи Google недавно обнаружили, что китайская группа кибершпионажа, отслеживаемая как UNC2814, пыталась обойти ограничения Gemini с помощью подсказок, чтобы заставить модель действовать как эксперт по безопасности, специализирующийся на встраиваемых устройствах.
Злоумышленники пытались использовать такой управляемый персоной джейлбрейк-промптинг для анализа прошивки TP-Link и других встраиваемых устройств на предмет уязвимостей. Целью также были реализации протокола передачи файлов Odette (OFTP).
С 2017 года UNC2814 нацеливалась на телекоммуникационные и правительственные структуры более чем в 42 странах. Группа имеет историю получения первоначального доступа к сетям путем использования уязвимостей в периферийных системах и веб-приложениях.
В другом случае злоупотребления ИИ было замечено, что связанная с государством Северной Кореи группа угроз, отслеживаемая как APT45, отправляла тысячи запросов в Gemini с целью анализа различных известных недостатков или проверки эксплойтов proof-of-concept. Целью, вероятно, было создание более надежного арсенала эксплойтов для n-day уязвимостей.
Было также замечено, что злоумышленники предварительно обучали модели ИИ данными об известных уязвимостях для повышения их точности в анализе кода и обнаружения недостатков, которые в противном случае было бы трудно обнаружить. Одним из примеров является подключаемый модуль навыков для Claude Code, терминального агента кодирования Anthropic, который содержит информацию, извлеченную из 85 000 реальных случаев уязвимостей, собранных китайской платформой баг-баунти WooYun в период с 2010 по 2016 год.
«Для содействия этой деятельности акторы также экспериментируют с агентными инструментами, такими как OpenClaw и OneClaw, наряду с намеренно уязвимыми тестовыми средами», — написали исследователи GTIG. «Использование этих инструментов наряду с исследованием уязвимостей предполагает интерес к доработке полезных нагрузок, сгенерированных ИИ, в контролируемых условиях для повышения надежности эксплойтов перед их развертыванием».
Отчет GTIG содержит другие примеры использования ИИ в жизненном цикле кибератак, включая разработку и обфускацию вредоносного ПО, автономную оркестровку атак, развертывание инфраструктуры, агентные рабочие процессы для генерации дипфейк-контента, используемого в информационных кампаниях, и многое другое.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lucian Constantin
