Когда главный специалист по данным Управления по финансовому регулированию и надзору Великобритании (FCA) Джессика Русу в понедельник выступила с речью, призывая к обязательному уведомлению британскими компаниями о «значительных сбоях и инцидентах с ИИ», она присоединилась к растущему хору требований о каком-либо нормативном контроле над внедрением корпоративных ИИ-систем. Однако ее речь также подчеркнула разочарование регуляторов тщетными попытками замедлить, казалось бы, неудержимое развертывание генеративных ИИ и автономных систем, поскольку сообщения о некорректном поведении ИИ и отсутствии значимых последствий продолжают появляться с тревожной частотой.
Русу, выступая перед аудиторией Bloomberg UK Policy Series, заявила, что компаниям необходимо больше инвестировать в кибербезопасность и операционную устойчивость.
«Наши правила уже требуют от компаний сообщать о серьезных инцидентах, и это должно распространяться на значительные сбои и инциденты с ИИ. Как признал министр по вопросам ИИ, отчетность об инцидентах с автономными ИИ становится приоритетом национальной безопасности. Это также регуляторный приоритет», — сказала Русу. «Это также означает необходимость иначе подходить к обеспечению безопасности. Система, безопасная на этапе развертывания, может вести себя иначе в масштабе, под нагрузкой или по мере изменения лежащих в ее основе моделей. Поэтому автономные системы требуют непрерывного, условного обеспечения безопасности».
Она добавила: «FCA будет работать с отраслью, коллегами-регуляторами и передовыми лабораториями над разработкой надежной системы для автономных финансовых систем, включая четкие подходы к идентификации агентов, делегированию полномочий, подотчетности и исполнению».
Один из вопросов, возникших после выступления, касался того, что именно подразумевается под «значительными сбоями и инцидентами с ИИ». Запросы в FCA для уточнения их терминологии к моменту публикации не были получены.
Сбой ИИ против инцидента
Однако Питер Арнтц, исследователь вредоносного ПО в компании Malwarebytes, предложил свое видение того, что могут означать эти термины.
«Значительный сбой ИИ — это сбой с серьезными последствиями, а не просто неверный ответ. В сфере финансовых услуг это может означать, что система ИИ авторизует крупные мошеннические платежи, раскрывает конфиденциальную информацию о клиентах, отказывает клиентам в доступе к основным финансовым услугам или инициирует транзакции, угрожающие целостности рынка», — сказал Арнтц. «Тестом должен быть масштаб и серьезность воздействия, а не то, выглядит ли сбой технически драматично».
С другой стороны, добавил он, «инцидент с ИИ — это событие, которое могло реально привести к серьезному ущербу, но было предотвращено до того, как этот ущерб произошел. Например, агент ИИ может попытаться совершить несанкционированный перевод, который блокируется отдельным контролем утверждения, или атака с использованием инъекций в запросы может заставить его раскрыть конфиденциальную информацию, но контроль исходящей безопасности остановит раскрытие».
Тем не менее, Арнтц предупредил о риске подхода Русу, если окончательные штрафы окажутся недостаточными. «Существует риск того, что это станет «бумажным тигром», если соблюдение требований будет сводиться к подаче отчета и уплате предсказуемого штрафа», — сказал он.
Предупреждения с разных сторон
Надер Хенейн, вице-президент Gartner в Великобритании, выразил скептицизм по поводу значимости предложения FCA, отчасти потому, что многие британские компании уже должны соблюдать правила ЕС, которые начали требовать от компаний таких раскрытий.
«Финансовые надзорные органы, включая Банк Англии (BoE), Центральный банк ОАЭ и Валютное управление Сингапура, выпустили предупреждения», — сказал он. «Несколько месяцев назад европейские центральные банки вместе с Европейским советом по системному риску повысили уровень оценки киберрисков, связанных с передовыми моделями, до «серьезного», предупредив, что одновременные киберинциденты могут повлиять на финансовый сектор. Они признали, что киберинциденты, вызванные ИИ, теперь угрожают стабильности основного финансового сектора».
Хенейн заявил, что особенно скептически относится к тому, что в финансовом секторе произойдут значительные изменения.
«Финансовые учреждения, как правило, прислушиваются к предупреждениям регулятора, который решает, могут ли они продолжать свою деятельность, но без четких законов, нормативного надзора и обязательных штрафов эти разрозненные заявления вряд ли что-то изменят», — сказал он.
Может «стимулировать неправильное поведение»
Ноа Кенни, главный консультант Digital 520, добавил, что одним из рисков этого повышенного требования к прозрачности является то, что оно может непреднамеренно стимулировать неправильное поведение.
«Банк с хорошим мониторингом может обнаружить сотни попыток агентов ИИ действовать вне своих полномочий», — сказал он. «Банк с плохим мониторингом может сообщить ноль, потому что он их никогда не видел. На бумаге более безопасный банк выглядит хуже. Сбой модели в тесте red-team — это работа теста, а не регуляторный инцидент».
Однако Фрэнк Диксон, главный аналитик Dickson Research, заявил, что подход к инцидентам имеет наибольший потенциал для изменения дискуссии.
«Мне нравится идея инцидентов. Это самая важная часть речи. К этому финансовые фирмы наименее готовы», — сказал он.
Но, подчеркнул он, «[Русу] также предупреждает о зависимости от одной модели. Сбой у одного поставщика ИИ, который выводит из строя канал обслуживания клиентов, тоже учитывается».
Еще одна проблема, связанная с зависимостью от конкретной модели, — это постоянный риск того, что поставщик ИИ может изменить модель, не уведомив всех своих клиентов.
«Модель может пройти тестирование в марте и вести себя некорректно в мае, при этом никто в фирме не изменит ни строчки кода, потому что поставщик изменил лежащую в основе модель», — сказал Диксон. «Изменение версии модели должно подвергаться такому же тщательному анализу, как и любое другое изменение в производственной среде».
Эта статья изначально была опубликована на CIO.com.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Evan Schuman
