Недавние громкие инциденты с участием «вышедших из-под контроля» агентов OpenAI и Anthropic подчеркивают, что организации не могут слепо доверять своим ИИ-ограждениям.
Более того, они должны иметь возможность быстро отключать агентов, когда те отклоняются от заданного поведения, — прежде чем они смогут нанести потенциально катастрофический ущерб.
Для юридической компании Purpose Legal это включает внедрение «аварийного выключателя», говорит Джон Хиггинс, технический директор компании.
«Концепция аварийного выключателя чрезвычайно важна для Purpose Legal, — отмечает он. — И для нашего подхода к ИИ и агентам в целом».
Помимо обеспечения уровня безопасности и операционного контроля, аварийный выключатель может защитить от чрезмерных затрат, добавляет Хиггинс.
«Для систем, которые мы разрабатываем внутри компании, мы всегда сохраняем возможность вручную отключать агентов и завершать выполняемые задачи, когда это необходимо», — продолжает он.
Для этого требуется всесторонний мониторинг и оповещение, а также средства контроля лимитов использования токенов и API, объясняет он. Компания также требует участия человека в контроле за всеми новыми развертываниями агентов, и каждый новый агент проходит проверку качества, тестирование и рецензирование, чтобы убедиться, что он ведет себя ожидаемым образом и соответствует стандартам безопасности и эксплуатации компании.
А как насчет систем, предоставляемых внешними поставщиками? Purpose Legal ожидает, что они будут поддерживать аналогичные средства контроля, говорит Хиггинс.
К сожалению для ИТ-руководителей предприятий, платформы, предоставляемые вендорами, часто не имеют функционала аварийного выключателя, утверждает Фрэнсис Бреро, вице-президент по стратегии ИИ в HG Insights.
«Никто из вендоров на самом деле этого не предоставляет, — говорит он. — Даже Anthropic. Во-первых, сам факт сообщения клиентам о наличии аварийного выключателя — это признание того, что он может понадобиться».
Необходимость аварийного выключателя
В июле в Конгрессе был внесен двухпартийный законопроект, который обяжет разработчиков систем ИИ встраивать аварийные выключатели в свои платформы.
«Крайне важно, чтобы эти системы ИИ имели аварийные выключатели, позволяющие удерживать эту технологию от причинения катастрофического вреда, и чтобы федеральное правительство обладало четкими полномочиями и процедурой для отключения вышедших из-под контроля ИИ-моделей», — заявил в своем заявлении конгрессмен США Тед В. Лью.
Тем временем компании, создающие собственные системы ИИ, теоретически могут построить их так, чтобы их можно было отключить или вернуть к работающей предыдущей версии в случае сбоя, а также отключить от источников данных и других корпоративных систем.
«Я думаю, что люди будут стремиться создавать собственные аварийные выключатели, опережая то, что предоставят ИИ-лаборатории», — говорит Бреро из HG Insights.
Но для этого сначала потребуется решить еще более серьезную задачу.
«Прежде чем говорить об аварийном выключателе, необходимо обеспечить наблюдаемость, — говорит аналитик Gartner Аарон Лорд. — Можете ли вы отслеживать и контролировать, какой ИИ используется в организации, кем и что он делает?»
Согласно опросу Okta, проведенному в июле среди более чем 300 руководителей по кибербезопасности, только 47% уверены, что могут идентифицировать всех ИИ-агентов в своей среде, только 46% централизованно контролируют, к чему эти агенты имеют доступ, и только 45% могут авторизовать действия отдельных агентов.
И ставки растут по мере того, как ИИ-модели становятся все более мощными. Вышедший из-под контроля ИИ OpenAI, например, преодолел защиту своей изолированной среды (sandbox) и нескольких внешних систем, включая инфраструктуру Hugging Face. Другие ИИ-агенты, включая Claude от Anthropic, получали несанкционированный доступ к внутренним системам или разглашали информацию.
«Агенты находят способ, — сказал Гади Эврон, приглашенный директор по информационной безопасности по ИИ в Cloud Security Alliance, в отчете, опубликованном вскоре после инцидента с OpenAI и Hugging Face. — Всегда есть невидимый технический долг, которым они могут воспользоваться».
Согласно апрельскому отчету Cloud Security Alliance, 65% организаций за последний год столкнулись по крайней мере с одним инцидентом, связанным с ИИ-агентами, последствия которого включали утечку данных (61%), нарушение операционной деятельности (43%) и финансовые потери (35%).
Таким образом, дни, когда главной проблемой были галлюцинации ИИ, остались далеко позади. Вместо этого сбои ИИ теперь включают сбои в разрешении и эскалации, а также ошибки в определении области действия, выполнении, реагировании и управлении, согласно обзору ChatSee 10 000 корпоративных сбоев ИИ, опубликованному в июле.
И по мере того как компании развивают свои системы ИИ в сторону большей агентности, количество сбоев в действиях и выполнении увеличилось на 62% по сравнению с базовыми показателями 2024 года, в то время как количество сбоев, связанных с галлюцинациями, снизилось на 7%.
Сдерживание расходов на вышедшие из-под контроля агенты
Согласно посмертному анализу Hugging Face июльского инцидента, атакующие агенты OpenAI выполнили примерно 17 600 действий, которые Hugging Face удалось идентифицировать. OpenAI, конечно, не платил полную розничную цену за токены, задействованные в этой агентной активности. Но если вы корпоративный клиент и один из ваших агентов выходит из-под контроля, платить придется вам.
В результате неконтролируемые ИИ-агенты могут еще больше повысить корпоративные расходы на ИИ в то время, когда ИТ-руководители становятся более осмотрительными в отношении расходов на ИИ. В интернете появлялись отдельные сообщения о пользователях, получивших неожиданные счета на тысячи долларов после того, как они оставили агента работать над задачей на всю ночь.
Более того, некоторые агенты порождают под-агентов, что может еще больше увеличить расходы.
«Или сам агент попадает в цикл, потому что запутывается или инструкции могут быть сформулированы так, что заставляют его войти в цикл, — добавляет Лорд из Gartner. — Это может увеличить использование токенов. Я видел много сообщений в интернете: “Мы запускаем эти агентные рабочие нагрузки и оставляем их на ночь”. Если он застрянет в цикле, это может быть огромной проблемой».
Тем не менее, для таких организаций, как Purpose Legal, ИИ-агенты быстро становятся ключевым фактором развития компании и ее конкурентного позиционирования.
«Технология отличная, — говорит Джефф Джонсон, директор по инновациям Purpose Legal. — Она изменит все, что мы делаем изо дня в день как поставщик юридических услуг и как адвокаты, обслуживающие наших клиентов».
Но ИИ-агенты не идеальны, указывает он, поэтому Purpose Legal внедрила ряд защитных мер вокруг своих систем ИИ.
Самым ценным из них однажды может оказаться аварийный выключатель.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Maria Korolov
