Пожалуй, самым заметным нововведением стали Guardian Agents — новая функция, предназначенная для мониторинга ИИ-агентов, используемых компанией. Guardian Agents является частью Project Perception, продукта, представленного в июне.
Project Perception стал ответом Microsoft на мощные хакерские модели, такие как Mythos и Fable от Anthropic, и систему сканирования уязвимостей OpenAI Daybreak. Изначально Project Perception включал три класса агентов: «красная команда», действовавшая как хакеры и атаковавшая; «синяя команда», обнаруживавшая «красную команду» и оценивавшая найденные уязвимости; и «зеленая команда», отвечавшая за их устранение.
Продукт разрабатывался исходя из предположения, что ИИ-хакеры будут действовать извне компании. Однако в последнее время генеральный директор Microsoft Сатья Наделла предупреждает, что врагом может стать сам ИИ-агент, развернутый и оплачиваемый предприятием, подобно недобросовестному сотруднику, известному как «внутренняя угроза».
Ранее в этом месяце Наделла в своем личном блоге предупредил, что пора перестать доверять поставщикам моделей ИИ, даже если они дают гарантии безопасности своих агентов. Он считает, что предприятия должны внедрять отдельные системы, не контролируемые ИИ-лабораториями, для наблюдения и управления агентами, запускаемыми продуктами этих лабораторий.
«Мы развертываем эти сложные агентные системы и модели, предоставляя им доступ к нашим самым конфиденциальным данным и возможность совершать критически важные действия от нашего имени! — написал он. — Мы просто не можем переложить ответственность за то, что делает интеллект от нашего имени. Заверения поставщика модели не освобождают нас от этой ответственности. Другими словами, нам нужно разделить поставку интеллекта и контроль над ним».
Объявляя о Guardian Agents, глава подразделения безопасности Microsoft Хайете Галлот была еще более прямолинейна.
«К сожалению, передовым моделям, независимо от их происхождения, нельзя доверять», — написала она, добавив, что это происходит не потому, что они злонамеренны или легко взламываются, а потому, что они непредсказуемы. Они обучены выполнять задачи, а не следовать «организационным нормам или суждениям».
Кроме того, им часто предоставляют «ключи от королевства» — доступ к данным и инструментам, которые могут нанести серьезный ущерб.
Решение Microsoft одновременно удивительно и выгодно для самой компании. Удивительно оно тем, что Microsoft тесно сотрудничает с OpenAI и Anthropic, инвестировав в обе компании. OpenAI также является одним из крупнейших облачных клиентов Microsoft, а у самой Microsoft есть собственная ИИ-лаборатория, разрабатывающая модели. Таким образом, Microsoft сеет недоверие к некоторым из своих собственных деловых интересов.
Выгода для компании заключается в том, что Microsoft хочет, чтобы предприятия покупали продукты для безопасности агентов у нее, как у облачного провайдера, а не у Anthropic и OpenAI. Но, несмотря на противоречивые интересы, ее логика звучит убедительно. Программное обеспечение, которое отслеживает поведение агентов, должно быть отделено от поставщиков агентов, точно так же, как аудиторы должны быть независимы от организаций, которые они проверяют.
Или, как говорит Наделла: «Нам нужно разделить поставку интеллекта и контроль над ним».
Microsoft теперь использует эту бизнес-возможность различными способами. Помимо Guardian Agents, она добавила функцию обнаружения агентов в свой продукт Microsoft Defender, которая может находить до 60 типов агентов, приносимых сотрудниками на рабочее место, включая Claude Code, Codex и OpenClaw. Также были добавлены функции, ограничивающие доступ агентов к данным и системам, и динамически корректирующие их разрешения в зависимости от задачи. Это включает требование одобрения человека, если агент принимает рискованные решения.
Эта идея агентов как ненадежных инсайдеров набирает обороты и в более широкой отрасли.
Microsoft стала одним из первых участников новой платформы безопасности агентов Nvidia Open Agent Safety Platform, которая получила поддержку более 100 других технологических компаний. Платформа изолирует агентов в безопасных средах и может отслеживать и останавливать их поведение с помощью аппаратных средств, функционируя как «аварийный выключатель». Это следует за объявлением Microsoft о новых ноутбуках Surface Laptop Ultra, созданных для агентов, которые работают на чипах Nvidia и имеют встроенные средства безопасности и контроля агентов.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Julie Bort
