AWS предложила несколько стратегий с открытым исходным кодом для обеспечения подотчетности ИИ-агентов, а теперь добавляет в этот набор полноценную песочницу.
Новое решение под названием Strands Box использует изоляцию на уровне ОС и некоторые другие недавние инструменты AWS с открытым исходным кодом для контроля ИИ, чтобы, по-видимому, лучше контролировать поведение автономных ИИ-агентов.
«Агенты все чаще работают в режиме YOLO, одобряя каждое действие без проверки человеком», — пояснила команда AWS в своем объявлении. «Обычным решением этой проблемы является песочница… но доступ — это лишь часть того, что мы хотим контролировать».
Проблема с контейнерами и микровиртуальными машинами, обычно используемыми для изоляции ИИ-агентов, заключается в том, что их сильная изоляция не сопровождается контекстным применением правил. Другими словами, когда контейнеризованный или виртуализированный агент получает доступ к инструменту, его может ничего не остановить от выполнения всего, чего он захочет — например, удаления производственной базы данных или получения доступа в Интернет и выполнения черт-те-чего.
Именно здесь вступают в игру другие инструменты с открытым исходным кодом в Strands Box: он использует Dogwood Local Engine для обеспечения временной осведомленности механизма политик в Box, чтобы вызовы инструментов могли проверяться не только на основе того, что агент хочет сделать, но и на основе того, что он уже сделал.
В качестве примера AWS отметила, что агенту может быть разрешено публиковать обновления статуса в Slack, но не более трех раз каждые десять минут, чтобы предотвратить спам для его операторов-людей. Представитель AWS далее пояснил, что Box может использоваться для контроля того, когда агент может выполнить Git push, или для ограничения вызовов API, которые могут стоить целое состояние.
Кроме того, Strands Box включает Strands Shell и Monty для Python, которые предоставляют операции оболочки и Python тому же механизму политик Dogwood и истории событий, делая действия агентов более понятными для разработчиков и позволяя политикам учитывать, что агент пытается сделать.
Вице-президент и выдающийся инженер AWS Марк Брукер, один из разработчиков Dogwood и Strands Box, пояснил The Register, что интерпретаторы являются ключевой частью повышения понятности поведения агентов, что позволяет разработчикам писать более точные политики для предотвращения плохих действий агентов.
«Интерпретаторы Shell и Python в Box предоставляют такие операции, как удаление файлов, в то время как его шлюзы предоставляют запросы API и вызовы инструментов», — сообщил нам Брукер по электронной почте. «Затем политики могут учитывать предполагаемое действие и предыдущую активность».
Брукер добавил, что Box применяет эти правила, не полагаясь на агентов в плане фактического следования инструкциям, что в идеале должно предотвратить их игнорирование пожеланий операторов.
Что касается причины стремления AWS разрабатывать инструменты с открытым исходным кодом, такие как Dogwood, Dogwood Local Engine и Strands Box, Брукер сказал, что AWS хочет найти правильный баланс между ограничениями и политиками, которые предотвращают катастрофы, связанные с ИИ-агентами, о которых мы регулярно сообщаем.
«Box детерминированно применяет политики, настроенные разработчиками, и агент не может обойти эти правила», — пояснил Брукер, хотя и добавил, что даже при правильно настроенных разрешениях действие агента все равно может привести к нежелательному результату.
«Разработчики по-прежнему несут ответственность за решение о том, какой доступ предоставить и где требуется проверка человеком», — добавил Брукер, — другими словами, не позволяйте вашему режиму YOLO заходить слишком далеко. Небольшой человеческий надзор по-прежнему необходим.
«Безопасность агентов — это область, в которой индустрии еще предстоит проделать значительную работу, и мы стремимся продолжать инвестировать в нее как внутри облака AWS, так и в открытый исходный код», — сказал Брукер.
Strands Box поддерживает любого агента или оболочку, которую вы хотите ограничить в его стенах, и доступен на GitHub прямо сейчас, хотя пока только для macOS. Поддержка Linux находится в разработке, и AWS сообщила нам, что клиент для Windows «находится в нашей зоне видимости», но ни для одного из них нет запланированной даты выпуска. Также планируется развертывание на таких платформах, как AgentCore, ECS и Kubernetes. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Brandon Vigliarolo
