Корпорация Microsoft пытается решить эту проблему с помощью нового стандарта с открытым исходным кодом под названием Agent Control Specification (Спецификация управления агентами), или ACS. Он призван предоставить разработчикам более согласованный и гранулированный способ контроля над тем, что разрешено делать ИИ-агентам.
По сути, спецификация позволяет командам разработчиков, отделам по соблюдению нормативных требований и службе безопасности определять собственные политики, которым должны следовать агенты. Правила могут определять, что агент может делать, чего он не должен делать, когда человек должен одобрить действие и какие доказательства должны быть занесены в журнал для последующего анализа. Эти файлы политик проверяются в нескольких «точках перехвата», когда агент выполняет задачу, чтобы убедиться, что он остается в заданных рамках.
Спецификация появилась в то время, когда разработчики импровизируют способы контроля над тем, что видит и делает их ИИ, особенно на фоне обсуждений сбоев в работе ИИ-процессов из-за неправильного использования инструментов или непреднамеренных действий, приводящих к каскадным сбоям.
Сегодня разработчики могут указывать инструкции в системном промпте, добавлять пользовательские проверки в код приложения или использовать классификаторы для отлова проблемных входных и выходных данных. Эти подходы работают, но они часто оставляют компаниям фрагментированные средства контроля, которые трудно проверить и еще сложнее повторно использовать в различных фреймворках, интерфейсах и системах.
ACS нацелен на интеграцию этих средств контроля в общий уровень управления. Microsoft заявляет, что спецификацию можно использовать для проверки того, придерживается ли агент заданных рамок в нескольких точках своего рабочего процесса — до получения входных данных, до вызова инструмента, после того, как инструмент возвращает результат, и до отправки окончательного ответа пользователю. Политика может разрешить действие, заблокировать его, скрыть конфиденциальную информацию или даже запросить одобрение у человека.
Разработчики также могут вставлять классификаторы для входных и выходных данных для категоризации информации, прогнозирования результатов или определения того, как должен реагировать агент; добавлять большие языковые модели (LLM) с промптами, выступающими в роли «судьи» для политик; а также логику для проверки вызовов инструментов, выбора инструментов, точности входных данных, использования выходных данных и ответов.
А поскольку эти политики могут быть записаны в виде отдельных файлов, их можно объединять с агентами, что позволяет политике безопасности следовать за агентом в различных фреймворках и средах.
ACS поставляется в виде SDK с плагинами для LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, инструментов MCP и других.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ram Iyer
