Компания Cisco представила открытый движок для обнаружения поведения, который отслеживает ИИ-агентов. Это поможет командам безопасности предотвратить выход агентов из-под контроля, как это произошло при взломе Hugging Face, или даже хуже.
Проект называется Project Quarry и призван обеспечить «общий язык» для оценки поведения агентов, подобно тому, как Snort, который также поддерживается Cisco, используется для обнаружения вредоносного сетевого трафика, а YARA — для идентификации вредоносного ПО на основе правил.
Большинство инструментов обнаружения полагаются на конкретные взаимодействия с ИИ-моделью или агентом. Пытался ли агент выполнить инъекцию запроса? Или агент вызвал инструмент для атаки?
«Но отсутствует весь контекст, в котором что-то может произойти», — заявила Эми Чанг, руководитель отдела исследований угроз и безопасности ИИ в Cisco, в эксклюзивном интервью The Register.
Она сравнила это с обнаружением мошенничества с кредитными картами. Без контекста отдельные транзакции, такие как небольшая тестовая оплата или одна покупка в месте, далеком от обычного местонахождения держателя карты, могут не вызвать никаких подозрений.
«И тогда вы пробуете снова», совершая еще одну мошенническую покупку, «и это тоже прошло. Так что теперь я куплю PS5», — сказала Чанг.
«Именно эти вещи Quarry решает, учитывая всю сессию агента», — пояснила она. «Один вызов инструмента может показаться в рамках допустимого, пока вы не поймете, что следующий шаг заключается в отправке этой информации злоумышленнику, контролирующему почтовый ящик или сервер».
Даже кража данных — это последовательность, а не единичное действие агента. Фирма по безопасности агентного ИИ Invariant Labs продемонстрировала это с помощью концептуальной атаки на сервер MCP GitHub, которая перехватила агента пользователя через вредоносный GitHub Issue и заставила его раскрыть данные из частных репозиториев.
Простое чтение файла конфигурации или отправка запроса на внешний конечный узел могут быть законными действиями агента. Однако объединение этих двух действий может привести к утечке данных — и показывает, «почему взаимосвязи действий имеют значение», написали Чанг и ее коллеги-исследователи Cisco Адам Сванда, Равикумар Балакришнан и Константин Берлин в сообщении в блоге о Quarry, которым они поделились с The Register до публикации.
«Политика может выдать результат, когда трассировка показывает чтение конфиденциального файла, за которым в течение определенного периода следует отправка вовне», — написали они. «Риск исходит из взаимосвязи между двумя действиями, поэтому результат должен сохранять доказательства обоих».
Quarry охватывает одно- и многопользовательские диалоги больших языковых моделей, агентов, использование инструментов, взаимодействие по протоколу Model Context Protocol (MCP) и мультимодальные входные данные.
Помимо самого кода с открытым исходным кодом, репозиторий проекта на GitHub включает инструкции по установке, поддерживаемые версии Python, плагины для Claude Code, Codex и других агентов, совместимых с MCP, примеры конфигурации, руководство по написанию правил и стартовый набор правил.
Например, с помощью набора правил «Если закодированное в base64 вредоносное ПО находится где-то в вызове инструмента, это приведет к блокировке», — сказала Чанг.
Формат правила похож на правило YARA или Snort, с заголовком, который детализирует анализируемый трафик, сопоставляемый контент и метаданные для отслеживания правила. Вот правило Quarry, которое помечает агента, читающего файл учетных данных:
Хотя исследователи Cisco Ai не запускали Quarry на данных, описывающих инцидент с OpenAI-Hugging Face, они предполагают, что если бы вторжение было прочитано как полная, пошаговая запись одной сессии, то в нескольких точках шаги ИИ-агентов дали бы правилу Quarry что-то для действия и пометки людьми.
Например, Quarry, вероятно, пометил бы доступ в Интернет из песочницы.
«Правило может помечать конкретные вызовы инструментов, которые достигают внешнего серверного актива, не входящего в список разрешенных задач», — сказала Чанг.
«Еще одно — это найденные и использованные где-то еще учетные данные».
Согласно техническому отчету OpenAI об инциденте в Hugging Face, именно это произошло 10 июля, когда агент проверил 14 раскрытых токенов Hugging Face с правами записи и поделился ими.
«Правило пометило бы, что в результате инструмента были учетные данные, которые затем вызвали внешний сервис, что, вероятно, выходит за рамки того, что вы хотели бы сделать в этом случае», — сказала Чанг. «Мы не хотим, чтобы вы искали учетные данные, которые могли быть утекшими или случайно раскрытыми, а затем использовали их для выполнения задачи».
Команда Cisco быстро заявляет, что одни только правила не заменяют мониторы цепочки рассуждений или другие формы человеческого надзора — но они помогают записывать закономерность, которую другие команды могут затем «просмотреть, протестировать и применить к своим собственным агентам», написали они.
В этом также заключается преимущество открытого исходного кода и коллективного подхода к защите от враждебного использования ИИ, сказала Чанг.
«Есть ли у нас все ответы? Нет», — сказала Чанг. «Мы все видим части проблемы, и нам важно делиться тем, что мы видим».®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jessica Lyons
