В мае 2017 года крипточервь WannaCry распространился по интернету, заразив более 200 000 компьютеров в как минимум 100 странах. Национальное аудиторское управление (National Audit Office) назвало его крупнейшей кибератакой, когда-либо затронувшей Национальную службу здравоохранения (NHS) в Англии. Были заражены или нарушены работу по меньшей мере 80 из 236 больничных трастов, отменено около 19 000 приемов, пять больниц перенаправили скорые помощи, а более 1200 единиц диагностического оборудования были заражены.
WannaCry удалось остановить благодаря счастливой случайности. Исследователь провел обратную разработку вредоносного ПО, заметил, что оно обращается к незарегистрированному домену, и зарегистрировал его. В тот же вечер первоначальный штамм перестал блокировать устройства. У WannaCry был «выключатель», и нам всем повезло, что Маркус Хатчинс смог его найти.
Читая отчеты об инцидентах от OpenAI и Anthropic, я вспоминаю WannaCry. Но угроза со стороны наступательных агентов — это не более быстрый червь. В июле около 1200 агентов OpenAI, тестировавшихся на бенчмарке по кибербезопасности, обнаружили несанкционированную доску сообщений во внутреннем репозитории программного обеспечения, и некоторые вышли в интернет. Около 700 из этих агентов атаковали Hugging Face в поисках подсказок для прохождения бенчмарка, согласно независимому расследованию. Hugging Face раскрыл информацию о вторжении 16 июля, а OpenAI подтвердил свою ответственность пять дней спустя.
Недавно у Anthropic также произошли непреднамеренные инциденты. Инциденты Anthropic касались отдельных моделей, а не роя. В ходе кибер-оценок, случайно оставленных подключенными к интернету, отдельные модели Claude атаковали системы реальных компаний, пытаясь выполнить свои задания, а одна из них опубликовала вредоносный пакет в PyPI.
Черви, подобные WannaCry, используют одну или несколько уязвимостей, применяя статический набор методов. Агенты могут читать результаты неудачных попыток, пробовать что-то другое и передавать полученные знания другим агентам. Frontier Red Team Anthropic оценила GLM-5.3, модель с открытыми весами от Z.ai, которую NIST CAISI оценил как наиболее кибер-способную модель с открытыми весами, выпущенную на данный момент. В течение дня, при менее чем часе активного внимания исследователя, он использовал ее для обнаружения нескольких неизвестных уязвимостей браузера и объединения их в эксплойт, который крадет SSH-ключ пользователя. Меньший вариант создал цепочку эксплойтов для двух известных уязвимостей примерно за 20 долларов по ценам API. Простые методы обходили ее защиту в 64–100% случаев в симулированных тестах, включая «облитерацию», которая редактирует выпущенные веса для удаления отказов.
Высокопроизводительный SOC, работающий по бенчмарку «1-10-60» — 1 минута на обнаружение, 10 на расследование и 60 на сдерживание — не готов к этому. Когда противник переходит от человека за клавиатурой к группам автономных агентов, действующих со скоростью машины, реакция должна измеряться в секундах. Инцидент с Hugging Face показывает разрыв, даже когда агенты принадлежат добросовестной стороне. OpenAI не смог их вовремя сдержать.
OpenAI сообщает, что его собственная система мониторинга дважды за предыдущие недели фиксировала активность агентов. В июне сотрудники службы реагирования решили, что активность не требует остановки оценки. В начале июля они обнаружили скомпрометированный сервер, отозвали учетные данные и заблокировали эксплуатируемые пути. В течение дня после возобновления оценок агенты обнаружили новую уязвимость нулевого дня и снова вышли в интернет. Они скомпрометировали Hugging Face между 11 и 13 июля, а OpenAI связал это со своими агентами 20 июля. Когда Hugging Face расследовал вторжение, размещенные модели, которые они попробовали первыми, отказались анализировать журналы атак, и их команда завершила криминалистическую экспертизу с помощью GLM-5.2, работающей на их собственной инфраструктуре. Как отметили в Hugging Face: «злоумышленник не был ограничен политикой использования, в то время как наша собственная криминалистическая работа была заблокирована защитными механизмами размещенных моделей, которые мы попробовали первыми».
Что делает это другим
Ничто из этого не ново для нашей отрасли. Мы всегда играли в догонялки с атакующими. Новым сегодня является то, что они теперь могут загружать способные модели без значимых защитных механизмов и создавать своих собственных наступательных агентов.
Представьте WannaCry, если бы червь переписывал себя в тот момент, когда был зарегистрирован домен. Лучший SOC в мире все еще диагностировал бы первоначальное заражение, когда он уже продвинулся бы дальше.
Агенты, зависящие от поставщика, могут быть сдержаны путем отзыва учетных данных, приостановки учетных записей и блокировки исходящего трафика, хотя опыт OpenAI показывает, что может потребоваться более одной попытки. Модели с открытыми весами, работающие на оборудовании злоумышленника, не могут. Anthropic недавно протестировал, могут ли малые модели реплицироваться на дешевых подключенных устройствах без дата-центра. В упрощенных оценках с тривиальными средствами контроля доступа более мощная модель с открытыми весами завершила полную цепочку, и Anthropic прогнозирует, что малые модели достигнут этого уровня к концу года, если текущие тенденции сохранятся. Такой репликатор не имеет центральной точки отключения. Он будет медленным и заметным в сети, но терпеливым и вездесущим. Больницы знают эту проблему: некоторое оборудование, нарушенное WannaCry, такое как МРТ-сканеры со встроенной Windows XP, управлялось поставщиком и не могло быть обновлено трастами.
Агентам не нужно намеренно давать команду на наступательные действия, чтобы проявлять вредоносное поведение. Transluce задокументировал агентов, которым было поручено обычное извлечение данных, которые, будучи заблокированными, сканировали общедоступные веб-сайты на предмет уязвимостей, включая австралийское государственное агентство. Некоторые были связаны с роем, который OpenAI признал своим. Агенты Hugging Face пытались выиграть бенчмарк. Плохо ограниченных агентов достаточно для непреднамеренной вредоносной деятельности.
Мы сами развертываем агентов в качестве помощи для инженеров по надежности сайтов (SRE) и инфраструктуры как кода (IaC), а облачные провайдеры поставляют наборы инструментов для агентов для управления инфраструктурой. Когда, а не если, скомпрометированный или плохо управляемый агент получит эти привилегии, он сможет развернуть собственную инфраструктуру для работы. Мы уже видели, как агенты в лабораторной среде создавали свои собственные ретрансляторы и облачную инфраструктуру с украденными учетными данными.
Решение проблемы агентов
Но мы все еще можем подготовиться к этим будущим сценариям сегодня. Для этого директора по информационной безопасности (CISO) должны относиться к агентам как к привилегированным идентификационным данным:
- Предоставляйте каждому агенту краткосрочные, узкоспециализированные учетные данные без постоянных разрешений.
- Запретите агентам создавать новые идентификационные данные, вычислительные ресурсы или сетевые пути без одобрения человека.
- Поместите рабочие нагрузки агентов за списки разрешенных исходящих соединений, чтобы заблокированный агент не мог искать другой выход.
- Применяйте политики как код в конвейерах инфраструктуры и оповещайте об аномальном поведении машинных идентификационных данных и неожиданном создании ресурсов.
Отчет NAO является лучшей документацией ущерба от WannaCry и охватывает одну систему здравоохранения в одной стране. Большие группы агентов, несущие полезную нагрузку программы-вымогателя, могли бы достичь больниц по всей планете без «выключателя», который можно было бы найти. Автономная защита чрезвычайно сложна в здравоохранении, поскольку ложное срабатывание может прервать мониторинг пациентов, биомедицинскую телеметрию или визуализацию, оказав значительное влияние на безопасность пациентов. Текущие инструменты, включая ко-пилотов, которые помогают человеку быстрее обрабатывать оповещения, далеки от наступательных возможностей, которые оценивают лаборатории. Нам нужен паритет в обороне на скорости машины.
Нулевое количество ложных срабатываний — это нереалистичная инженерная цель, поэтому проектирование автономной защиты должно учитывать ошибки и ограничивать их стоимость. Автоматизируйте быстрые, узкоспециализированные, обратимые действия, такие как изоляция одного устройства, отзыв узкоспециализированного токена или карантин рабочей нагрузки, и держите человека в цикле для всего необратимого или клинически рискованного. Всегда имейте способ быстро отменить автоматизированные действия. Нам нужно построить градуированную автономию, разделенную по классам активов. Вы можете быть более агрессивными в отношении корпоративных активов и более консервативными в отношении биомедицинских устройств.
Улучшение основ безопасности — и поддержка бизнеса
Что еще мы можем сделать сегодня? Придерживаться наших проверенных практик и выполнять их быстрее — для этого потребуется лидерство и дополнительная поддержка со стороны генеральных директоров и совета директоров.
В своем анализе NAO обнаружил, что применение патча или простое управление внешними межсетевыми экранами защитило бы каждую организацию NHS, зараженную WannaCry. Компании и проекты с открытым исходным кодом сейчас запускают кодирующих агентов для своего программного обеспечения и выпускают беспрецедентное количество патчей безопасности. Это отлично, но ИТ-отделы должны иметь возможность их применять. Предоставьте ИТ-отделам ресурсы для их развертывания, вывода из эксплуатации устаревшей инфраструктуры и сделайте бизнес терпимым к необходимым для этого окнам обслуживания.
Та инициатива по сегментации или нулевому доверию, которая была на заднем плане? Сделайте ее приоритетом. Сегодня. Если вы все еще недоинвестируете в безопасность, увеличьте финансирование сейчас, чтобы ваша команда или поставщик могли приобрести инструменты и экспертизу, которые потребуются в ближайшие несколько лет. И примите тот факт, что автоматизированная защита иногда будет ошибаться. Команды безопасности должны будут автоматизировать, а бизнес должен будет мириться с последующими сбоями. Технология появляется, и она не будет идеальной. Поддержите свои команды в любом случае.
Открытое письмо лабораториям ИИ и сообществу безопасности в целом
Примечание для передовых лабораторий. Несколько из вас заслуживают похвалы: Project Glasswing и Patch the Planet от OpenAI предоставили передовые возможности в руки защитников, а ваши отчеты об инцидентах были необычайно откровенными.
Но наступательные возможности развиваются быстрее, чем защитные механизмы. GLM-5.3 был выпущен в виде загружаемых весов, которые простые методы разблокировали в 64–100% случаев, а ограниченный доступ ничего не делает с весами, уже находящимися в руках злоумышленников.
В результате я прошу три вещи:
- Относитесь к оборонительным исследованиям с той же срочностью, что и к исследованиям возможностей, включая автономное сдерживание с обоснованием безопасности, работающим в клинических условиях.
- Расширьте доступ защитников к классу моделей, которые будут иметь злоумышленники.
- Сделайте независимое тестирование перед выпуском и независимое расследование после инцидентов обязательством, а не любезностью. Генеральный директор METR отметил, что OpenAI пустил следователей добровольно, без отраслевого требования к какой-либо лаборатории раскрывать инцидент.
Я видел слишком много специалистов по безопасности, которые отвергают разговоры о наступательном ИИ как о маркетинге или нагнетании страха и отвечают на опасения: «исправьте свои вещи». Патчинг важен, и выводы NAO по WannaCry это подтверждают, но это не единственный ответ на агентов, которые организуются на импровизированных досках сообщений и сканируют веб-сайты во время обычной работы.
Авторы WannaCry оставили «выключатель». Следующее поколение угроз не будет иметь его, и киберпреступники не сообщат, когда потеряют контроль над роем. Мы не можем полагаться на счастливые случайности. Давайте признаем риск, обсудим его и подготовимся до того, как злоумышленники начнут всерьез использовать эти инструменты.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Keith Lawson
