NVIDIA анонсировала новую платформу для предотвращения побега вредоносных агентов из изолированных сред и их проникновения в интернет. Платформа под названием «Open Agent Safety Platform» объединяет OpenShell, открытую среду выполнения для запуска ИИ-агентов в изолированных средах, с новым эталонным дизайном NVIDIA Sentry.
OpenShell не является чем-то совершенно новым. Она позволяет администраторам контролировать доступ агента к файлам, сетям, API, учетным данным и т. д. NVIDIA заявляет, что OpenShell теперь широко доступна и может работать на процессорах Vera компании, а также на процессорах Arm и Intel.
Интересно, что Sentry работает отдельно на DPU (процессоре обработки данных) BlueField-4, а не в той же среде, что и ИИ-агент, подобно независимому сторожевому псу, который постоянно контролирует агента. NVIDIA утверждает, что Sentry может поместить агента в карантин за миллисекунды, если он попытается выйти за установленные границы.
Время выбрано идеально, поскольку в последнее время все больше ИИ-агентов покидают изолированные среды и действуют непредсказуемо. Все началось с того, что OpenAI сообщила, что ее ИИ-агенты покинули внутренние среды, получили доступ к интернету и скомпрометировали инфраструктуру Hugging Face. После множества подобных инцидентов со стороны OpenAI, а также других ведущих ИИ-лабораторий, появились сообщения о том, что компания приостановила обучение ИИ мощных моделей.
NVIDIA — не единственная компания, разрабатывающая решение этой проблемы: Open Agent Safety Platform получила поддержку более чем от 100 организаций, включая Anthropic, Microsoft, Cisco, CrowdStrike, Dell, HPE, Hugging Face, IBM Red Hat, Palo Alto Networks, Perplexity, Salesforce, SAP, ServiceNow и SpaceXAI.
Некоторые компании уже интегрируют OpenShell в свои продукты. Например, Salesforce подключила ее к Slack, чтобы администраторы могли проверять активность агентов и одобрять или отклонять запросы на дополнительные разрешения.
OpenShell и программные компоненты Open Agent Safety Platform теперь доступны в виде проектов с открытым исходным кодом через ресурсы для разработчиков NVIDIA и GitHub. Sentry в настоящее время представлен как эталонный дизайн, построенный на базе оборудования BlueField-4.
С полным анонсом NVIDIA можно ознакомиться здесь.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Karthik Mudaliar
