Корпорация Microsoft сделала общедоступными два новых инструмента, предназначенных для внедрения проверок безопасности ИИ на гораздо более ранних этапах жизненного цикла разработки агентов.
Инструменты под названиями Rampart и Clarity были анонсированы на этой неделе в рамках более широких усилий Microsoft по практическому внедрению инженерии безопасности для агентного ИИ.
«Мы создали эти инструменты, потому что считаем, что безопасность ИИ должна стать непрерывной инженерной дисциплиной, а не периодической контрольной точкой, и мы думаем, что лучший способ добиться этого — предоставить практичные, открытые инструменты в руки тех, кто занимается разработкой», — заявил основатель команды красной команды Microsoft по ИИ Рам Шанкар Сива Кумар в записи в блоге по безопасности.
Анонс прозвучал на фоне того, как ИИ-агенты эволюционируют из помощников в стиле чат-ботов в системы с реальными операционными привилегиями. По данным Microsoft, эти новые агенты создают риски, с которыми традиционные рабочие процессы безопасности приложений не были рассчитаны справляться, включая внедрение подсказок (prompt injection), небезопасное использование инструментов, повышение привилегий и непреднамеренные автономные действия.
И Rampart, и Clarity теперь доступны как проекты с открытым исходным кодом от Microsoft.
Rampart для повторяющегося ИИ-тестирования командой красных
Microsoft позиционирует Rampart как более операционный из двух инструментов. Этот фреймворк разработан, чтобы помочь разработчикам преобразовывать результаты работы команды красных в повторяемые тесты, которые могут выполняться непрерывно в конвейерах разработки и развертывания.
Созданный на базе PyRIT — открытого фреймворка автоматизации Microsoft для тестирования систем генеративного ИИ командой красных, — Rampart призван позволить командам выполнять как враждебные, так и доброжелательные тестовые сценарии против ИИ-агентов структурированным и автоматизированным способом.
Идея состоит в том, чтобы выйти за рамки разовых проверок безопасности и вместо этого включить непрерывные проверки непосредственно в рабочие процессы CI/CD. «В то время как PyRIT оптимизирован для обнаружения методом черного ящика исследователями безопасности после создания системы, Rampart создан для инженеров в процессе создания системы», — пояснил Кумар.
Фреймворк обещает возможность выявлять проблемы, связанные с межподсказочным внедрением (cross-prompt injection), небезопасной обработкой данных, небезопасным выполнением инструментов и другими путями атак, специфичными для агентов, до того, как приложения попадут в продакшн. Кроме того, Rampart запрограммирован позволять организациям преобразовывать результаты работы команды красных по ИИ в повторяемые автоматизированные тесты, помогая инженерам непрерывно проверять наличие регрессий по мере эволюции агентов.
Clarity для фокусировки на предположениях в ИИ-агентах
В то время как Rampart фокусируется на тестировании создаваемых систем, Clarity нацелен на более ранние этапы рабочего процесса, до начала написания кода.
Microsoft описывает Clarity как инструмент, предназначенный для изучения и проверки предположений, лежащих в основе решений по проектированию ИИ-агентов. Это, предположительно, включает оценку того, как должны вести себя агенты, какие разрешения они должны иметь, как они взаимодействуют с инструментами и внешними системами, а также где существуют границы доверия.
«Clarity работает как настольное приложение, веб-интерфейс или встроенный непосредственно в кодирующий агент», — сказал Кумар. «Он направляет инженеров через структурированные беседы, охватывающие уточнение проблемы, исследование решений, анализ сбоев и отслеживание решений».
Эти беседы записываются в каталог «.clarity-protocol/» в репозитории в виде файлов markdown, которые можно фиксировать, просматривать в pull-запросах и сравнивать (diff) как исходный код, добавил он. Microsoft в течение последних нескольких месяцев создавала открытый стек для «управления агентами» (agent governance) и безопасности, делая Rampart и Clarity частью более широкой стратегии, а не отдельным выпуском. В прошлом месяце компания представила Agent Governance Toolkit, сфокусированный на рутинном контроле, принудительном применении политик и защите ИИ-агентов в соответствии с OWASP.
Статья изначально появилась на InfoWorld.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Shweta Sharma
