Галлюцинации ИИ — хорошо известная проблема, и когда речь идет об оценках соответствия, эти убедительные, но неточные результаты могут нанести реальный ущерб в виде неверных оценок рисков, ошибочных рекомендаций по политике или даже неточных отчетов об инцидентах.
Руководители в области кибербезопасности утверждают, что настоящие проблемы начинаются, когда ИИ выходит за рамки написания резюме и начинает принимать решения. Именно тогда его просят определить, выполняют ли свои функции средства контроля безопасности, соответствует ли компания стандартам комплаенса или инцидент был урегулирован должным образом.
Вот девять способов, которыми CISO могут справиться с проблемой галлюцинаций ИИ.
Сохраняйте участие человека в принятии ответственных решений
Фред Квонг, вице-президент и CISO Университета DeVry, говорит, что его команда тщательно тестирует ИИ в области управления, рисков и комплаенса, особенно при оценке рисков третьих сторон. Он отмечает, что хотя ИИ помогает анализировать опросники поставщиков и подтверждающие документы, оценивающие уровень безопасности этих поставщиков, он не заменяет людей.
«Мы видим, что интерпретация не так хороша, как мне хотелось бы, или она отличается от того, как интерпретируем ее мы, люди», — говорит Квонг.
Он объясняет, что ИИ часто считывает требования к контролю иначе, чем опытные специалисты по безопасности. Из-за этого его команда по-прежнему проверяет результаты вручную. Пока ИИ не экономит много времени, потому что доверия к этой технологии еще нет, говорит он.
Миньона Коте, старший вице-президент и CISO в Infor, согласна, что человеческий надзор имеет решающее значение, особенно при оценке рисков, проверке средств контроля и сортировке инцидентов. «Человек должен оставаться в контуре принятия решений, точка», — заявляет Коте, которая рассматривает ИИ как инструмент повышения производительности, а не как нечто, что должно принимать окончательные решения самостоятельно.
Относитесь к результатам работы ИИ как к черновикам, а не как к готовым продуктам
Один из самых больших рисков — чрезмерное доверие к ИИ, по мнению экспертов по безопасности. Коте говорит, что ее организация изменила политику так, что контент, сгенерированный ИИ, не может попасть в документацию по комплаенсу без проверки человеком.
«В тот момент, когда ваша команда начинает относиться к ответу, сгенерированному ИИ, как к готовому рабочему продукту, у вас возникает проблема», — говорит она. «Относитесь к каждому результату как к первому черновику, а не как к окончательному. Наступит момент, когда повторяющиеся вопросы будут иметь повторяющиеся ответы. Маркируя эти ответы и проставляя временные метки при их создании, можно будет обрабатывать их в масштабе».
Срикумар Раманатан, директор по решениям в Mphasis, считает, что это чрезмерное доверие часто проистекает из того, что он называет «предвзятостью автоматизации». Люди по своей природе предполагают, что то, что написано ясно и уверенно, должно быть правильным.
Чтобы противостоять этому, он говорит, что компаниям необходимо культивировать «активный скептицизм». «[Это означает] рассматривать результаты работы ИИ как непроверенные черновики, требующие подписи человеческой ответственности, прежде чем они станут действенными», — объясняет он.
Требуйте доказательств, а не отполированной прозы, от поставщиков
Когда поставщики заявляют, что их ИИ может «оценивать соответствие» или «проверять средства контроля», руководители служб безопасности говорят, что покупателям необходимо задавать сложные вопросы.
Квонг говорит, что он заставляет поставщиков предоставлять прослеживаемость ответов, которые дает ИИ, чтобы его команда могла увидеть, как ИИ пришел к своим выводам. «Без такой прослеживаемости нам становится еще труднее это выявить», — говорит он.
Раманатан считает, что покупатели должны спрашивать, может ли система указать на точное доказательство, лежащее в основе ее ответа, например, запись журнала с временной меткой или конкретный конфигурационный файл. Если нет, то инструмент, возможно, просто генерирует текст, который звучит правильно.
Пунит Бхатнагар, руководитель в области кибербезопасности и управления идентификацией, говорит, что ключевой вопрос заключается в том, анализирует ли ИИ фактически оперативные данные в реальном времени или просто обобщает документы. «Если поставщик не может показать детерминированный путь доказательств, стоящий за его выводом, он, вероятно, генерирует повествование, а не проводит оценку», — говорит Бхатнагар, который последним занимал должность старшего вице-президента и руководителя по управлению идентификацией в Blackstone. «Комплаенс — это не язык. Это доказательство».
Стресс-тестируйте модели, прежде чем доверять им
Квонг рекомендует тестировать инструменты ИИ, чтобы проверить их согласованность. Например, дважды пропустите одни и те же данные и сравните результаты.
«Если вы снова введете те же данные, выдаст ли он тот же результат?» — спрашивает он.
Если ответы существенно меняются, это тревожный сигнал. Он также предлагает удалить важные доказательства, чтобы увидеть, как отреагирует модель. Если она все равно уверенно дает ответ, это может указывать на галлюцинацию.
Коте говорит, что ее команда проверяет результаты работы ИИ по сравнению с другими инструментами, включая сканирующие системы и результаты внешнего тестирования на проникновение. «И мы не доверяем никакому инструменту ИИ, пока он неоднократно не докажет свою эффективность на известных результатах», — говорит она.
Измеряйте частоту галлюцинаций и отслеживайте дрейф
Руководители служб безопасности заявляют, что организации должны отслеживать точность ИИ с течением времени. Квонг говорит, что команды должны регулярно сравнивать оценки, сгенерированные ИИ, с человеческими обзорами и изучать различия. Этот процесс должен происходить не реже одного раза в квартал.
Раманатан предлагает отслеживать такие метрики, как «коэффициент дрейфа», который измеряет, как часто выводы ИИ расходятся с человеческими обзорами. «Модель, которая была на 92% точна шесть месяцев назад и на 85% точна сегодня, более опасна, чем та, которая постоянно показывала 80%, потому что доверие вашей команды было откалибровано под более высокое число», — отмечает он.
Он также рекомендует измерять, как часто цитируемые доказательства действительно подтверждают утверждения ИИ. Если частота галлюцинаций возрастает слишком сильно, организациям следует уменьшить степень полномочий ИИ, например, понизив его до менее автономной роли в своих моделях управления.
Остерегайтесь контекстуальных слепых зон при сопоставлении комплаенса
Бхатнагар говорит, что самые опасные галлюцинации возникают, когда ИИ просят принимать решения об эффективности средств контроля, нормативных пробелах или влиянии инцидентов.
ИИ может выдавать то, что он называет «правдоподобным соответствием» (plausible compliance), то есть ответы, которые звучат убедительно, но неверны, поскольку им не хватает реального контекста. Комплаенс часто зависит от технических деталей, компенсирующих мер и операционных реалий, которые не отражаются только в документации.
Раманатан добавляет, что ИИ часто испытывает трудности с нюансами разрешительного языка («может») по сравнению с ограничительным языком («должен», «требуется»).
«Например, ИИ часто неверно истолковывает разрешительный язык, такой как „сотрудники могут получить доступ к системе после завершения обучения“, как строгое, применимое правило, рассматривая необязательные разрешения как обязательные средства контроля», — объясняет Раманатан. «Это приводит к тому, что ИИ переоценивает авторитет разрешительного или расплывчатого языка, что приводит к неверным предположениям о том, должным ли образом соблюдаются политики или эффективны ли меры безопасности».
Возражайте против общих или идентичных оценок
Некоторые поставщики преувеличивают возможности своих инструментов ИИ. Бхатнагар говорит, что многие инструменты обобщают документы или генерируют отчеты о пробелах, но поставщики рекламируют эти функции так, как будто они выполняют полную автоматизированную проверку соответствия.
Риск возрастает, когда несколько клиентов получают почти идентичные оценки. Организации могут полагать, что их средства контроля были тщательно оценены, хотя ИИ выполнил лишь поверхностный обзор документов.
Раманатан утверждает, что это создает ложное чувство уверенности и более широкий отраслевой риск. Если в одной популярной модели есть недостаток, эта слепая зона может распространиться широко.
Бхатнагар добавляет, что он видел, как поставщики рекламировали инструменты ИИ как оценивающие соответствие организаций, даже когда несколько клиентов получают структурно схожие или почти идентичные оценки.
В таких ситуациях инструмент может на самом деле не анализировать специфические для компании политики или доказательства, а вместо этого генерировать текст, который кажется индивидуальным, но не основан на реальности, говорит он. «Мы все еще находимся на ранних стадиях отделения генерации нарратива ИИ от верификации на основе ИИ», — говорит он. «Это различие определит следующий этап инструментов управления».
Усильте подотчетность при аудите и юридических проверках
С точки зрения регулирования, ИИ не снимает ответственности, по мнению экспертов. Раманатан говорит, что регуляторы ясно дают понять, что обязанность заботиться остается за должностными лицами компании.
«Если в оценке, сгенерированной ИИ, упущена существенная слабость, организация несет ответственность за „невыполнение надзора“», — говорит он. «Мы уже живем в эпоху, когда полагаться на непроверенные результаты работы ИИ может рассматриваться как грубая халатность. Если ваши результаты аудита неверны из-за ошибки ИИ, вы не просто провалили аудит, вас привлекут к ответственности за подачу вводящего в заблуждение нормативного заявления. „ИИ сказал мне так“ — это не защита».
Коте говорит, что возможность показать, что человек просмотрел и утвердил каждое существенное решение, имеет решающее значение во время аудитов. «Ключ в том, чтобы доказать, что человек присутствовал в каждой точке принятия существенного решения, с временной меткой и аудиторским следом для подтверждения», — отмечает она.
Будьте осторожны с автоматическим сопоставлением нормативных требований
Раманатан утверждает, что один из самых больших рисков комплаенса возникает, когда компании полагаются на ИИ для автоматического сопоставления внутренних средств контроля с нормативными базами, такими как GDPR или SOC 2.
«Самый большой риск комплаенса связан с автоматическим сопоставлением нормативных требований», — отмечает он. «ИИ может уверенно заявить о наличии средства контроля или удовлетворении требования на основе лингвистического шаблона, а не функциональной или операционной реальности».
Например, инструмент ИИ может увидеть настройку шифрования, указанную в конфигурации базы данных, и предположить, что шифрование активно, даже если эта функция отключена в системе.
Раманатан говорит, что это может создать «огромный пробел в безопасности, когда компания полагает, что готова к аудиту, а затем обнаруживает во время утечки данных, что ее проверенные ИИ средства защиты отсутствовали или были неправильно настроены».
Чтобы снизить этот риск, он говорит, что организациям необходимо более четко структурировать свои политики и нормативные акты и связывать их с применимыми техническими правилами, а не полагаться только на ИИ для интерпретации документов.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Linda Rosencrance
