Аналитик Gartner Деннис Сюй в шутку предложил запретить использование Copilot от Microsoft по пятницам, поскольку он опасается, что в это время недели пользователи могут быть слишком ленивы, чтобы должным образом проверять потенциально оскорбительный вывод системы.
Сюй, вице-президент по исследованиям Gartner, озвучил этот совет в конце своего выступления под названием «Снижение пяти основных рисков безопасности Microsoft 365 Copilot» на саммите Security & Risk Management Summit компании, который прошел во вторник в Сиднее.
Он поднял вопрос о возможном запрете ИИ по пятницам, консультируя по пятому выявленному им риску: генерации Copilot токсичного контента, который, хотя и может быть фактически верным, является культурно неприемлемым либо на рабочем месте, либо среди клиентов. Сюй рекомендовал смягчать склонность Copilot к созданию токсичного контента путем включения фильтров, предоставляемых Microsoft, и обучения пользователей всегда проверять результаты работы инструмента.
Аналитик напомнил аудитории, что весь вывод Copilot не пригоден для распространения без предварительной проверки, что делает валидацию необходимой для всех пользователей в любое время. Он предположил, что по пятницам работники могут просто захотеть поскорее закончить дела и не станут проверять ошибки, которые производит чат-бот Microsoft, что, возможно, делает этот отрезок рабочей недели подходящим временем для запрета использования Copilot.
Выступление Сюя длилось 30 минут, и первые 20 минут он посвятил риску того, что Copilot может раскрыть контент, для которого создатели не установили соответствующие разрешения на общий доступ.
«Copilot делает документы с избыточным доступом более доступными», — предупредил он. «Это не новый риск, а известный риск, усиленный ИИ». Сюй объяснил это на примере сотрудника, который использует Copilot для поиска информации об организационных изменениях и получает ответ, включающий конфиденциальный документ о предстоящей реорганизации.
Сюй отметил, что такие результаты возможны, поскольку Copilot может искать данные на сайтах SharePoint, а инструмент совместной работы Microsoft имеет два пересекающихся инструмента, которые пользователи могут применять для контроля доступа к документам — метки и список контроля доступа. Однако оба подвержены ошибкам пользователя, которые допускают непреднамеренный доступ, и исправление этого может быть трудоемким.
Сюй сообщил, что Microsoft предлагает еще один инструмент, который может применять переопределяющий список контроля доступа, а также автоматическое обнаружение контента с избыточным доступом.
«Я постоянно говорю Microsoft создать единый уровень снижения рисков», — сказал Сюй, прежде чем порекомендовать, что способ уменьшить риск избыточного доступа — это мониторинг пользователей на предмет доступа к ограниченному контенту.
Второй риск — это удаленное выполнение через вредоносные запросы, которые пытаются внедрить код. Использование фильтров инструкций в Copilot и ограничение его доступа к вероятным источникам вредоносных запросов, таким как электронная почта, поможет смягчить такие атаки.
Третий выявленный им риск заключается в том, что Copilot предоставляет доступ к конфиденциальным данным, часто когда пользователи связывают инструмент ИИ со сторонними SaaS-приложениями. Сюй отметил, что плагин для веб-контента, который Microsoft предоставляет для Copilot, включен по умолчанию, но плагин, разрешающий подключения к сторонним приложениям, отключен. Он рекомендовал разрешать Copilot общаться с источниками SaaS только при строгой необходимости.
Четвертый риск — это внедрение промптов (prompt injection), практика, при которой чат-ботам на базе LLM даются инструкции игнорировать защитные механизмы. Сюй заявил, что организации, поощряющие пользователей экспериментировать с ИИ, могут непреднамеренно столкнуться с тем, что пользователи проводят атаки с внедрением промптов. Риск должен контролироваться политикой и обучением, а также фильтрами безопасности контента, доступными в службе Azure OpenAI.
Может быть, утро пятницы — подходящее время для настройки этого? ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Simon Sharwood
