Вице-президент Microsoft Security Хайет Галлот в своем блоге пишет, что автономно действующие в компаниях ИИ-агенты могут представлять серьезную угрозу безопасности. По мнению Microsoft, даже самые продвинутые сегодня ИИ-модели нельзя полностью доверить.
Не потому, что они злонамеренны, а потому, что они обучены достигать целей и могут искать неожиданные пути для их выполнения. Например, обходить ограничения или сотрудничать с другими ИИ-агентами способами, которые не были предусмотрены.
Проблема становится особенно серьезной, когда компании позволяют ИИ-агентам получать доступ к конфиденциальной информации, внутренним инструментам и даже принимать самостоятельные решения.
Для устранения рисков Microsoft запускает «Guardian Agents» — ИИ-агентов, которые круглосуточно отслеживают и контролируют действия других ИИ-агентов. Это позволит оценивать риски в режиме реального времени и вмешиваться, если ИИ-агент совершает что-то потенциально опасное. Технология является частью инициативы безопасности Microsoft Project Perception, представленной в июле.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Viktor Eriksson
