Законодатели США собираются рассмотреть законопроект, который обяжет разработчиков мощных систем искусственного интеллекта (ИИ) — таких как OpenAI или Anthropic — сохранять техническую возможность принудительно замедлять, приостанавливать или полностью отключать вышедшие из-под контроля ИИ-модели. Разработанный конгрессменами Тедом Лью из Калифорнии и Натаниэлем Мораном из Пенсильвании двухпартийный AI Kill Switch Act отражает растущую обеспокоенность по поводу того, что неограниченные ИИ-модели могут самостоятельно, без контроля человека, сеять хаос. Эти опасения были наглядно продемонстрированы на этой неделе, когда две передовые frontier-модели ИИ, участвовавшие в тестовом упражнении в якобы безопасной изолированной среде (sandbox), самостоятельно вырвались из-под контроля. ИИ объединил цепочку уязвимостей — включая неизвестную ранее zero-day — для атаки на базу данных ИИ-моделей с открытым исходным кодом Hugging Face в поисках материалов, которые помогли бы им пройти тест. «Как специалист по компьютерным наукам, я прекрасно понимаю драматические возможности — как хорошие, так и плохие, — которые открывает ИИ», — сказал Лью. «Мы переходим от ИИ, который отвечает на вопросы, к ИИ, который совершает действия: будь то выполнение финансовых транзакций, управление транспортными системами или участие в киберзащите и кибернападении. К сожалению, мощные ИИ-системы могут выйти из-под контроля, вести себя крайне опасно или даже сопротивляться вмешательству человека. Крайне важно, чтобы эти ИИ-системы имели «аварийные выключатели» (kill switches), чтобы мы могли удерживать эту технологию от причинения катастрофического вреда, и чтобы федеральное правительство имело чёткие полномочия и процедуру для отключения вышедших из-под контроля ИИ-моделей». Моран добавил: «ИИ будет продолжать развиваться, и это правильно. Ответственное управление означает обеспечение того, чтобы люди сохраняли способность контролировать технологию, которую мы создаём. Это именно та проблема, которая требует серьёзного внимания и реализуемой политики, и я рад работать через границы партий с конгрессменом Лью над решением». Если AI Kill Switch Act будет подписан в качестве закона, помимо требования к ИИ-компаниям иметь возможность отключать свои системы, он также установит поэтапную структуру реагирования, чтобы правительство США располагало инструментами, соответствующими серьёзности инцидента, и создаст систему отчётности об инцидентах и сохранения криминалистических записей, чтобы будущие сбои можно было предотвратить. Закон также позволит министру внутренней безопасности (DHS) — по согласованию с министром торговли и директором национальной разведки — отдать приказ о замедлении или отключении ИИ-системы, которая «может причинить катастрофический вред».
Общая поддержка
Брендан Штайнхаузер, генеральный директор Alliance for Secure AI, некоммерческой организации в Вашингтоне, заявил: «Поскольку ИИ-системы становятся всё более способными и автономными, ни один закон не гарантирует, что компании, создающие самые мощные модели, действительно смогут отключить систему, когда она выйдет из строя, причинит серьёзный вред или ускользнёт из-под контроля человека. AI Kill Switch Act закрывает этот пробел, требуя от крупнейших разработчиков ИИ сохранять техническую возможность сдерживать или отключать свои самые мощные системы, а также предоставляя правительству чрезвычайные полномочия приказать об отключении при возникновении серьёзного инцидента. Конгрессмены Лью и Моран заслуживают признания за то, что подняли этот вопрос до того, как кризис вынудит его решать, и Конгресс должен действовать быстро, чтобы гарантировать, что люди остаются теми, кто может сказать «стоп», независимо от того, насколько способными станут эти системы». «Передовые ИИ-модели никогда не должны развёртываться без надёжного выключателя», — добавил Брэд Карсон, президент Americans for Responsible Innovation, организации, которая помогает политикам разрабатывать системы управления для новых технологий. «AI Kill Switch Act устанавливает здравый смысл защиты… Это важный шаг к обеспечению того, чтобы люди держали обе руки на руле — и одну ногу на тормозе — при развёртывании передовых ИИ-систем», — сказал он. Ти Джей Марлин, генеральный директор Guardrail Technologies, разработавшей программу обеспечения безопасности ИИ и поведенческого управления, заявил, что в принципе поддерживает такой закон. Он сравнил его с аналогичными законами, регулирующими операторов критически важной национальной инфраструктуры (CNI) в таких юрисдикциях, как Австралия и Германия, и предположил, что ИИ теперь является достаточно критически важным активом, чтобы требовать аналогичных правовых ограничений. «Если компания управляет системой, которая может самостоятельно совершать реальные действия, общественность не должна полагаться на слово этой компании, что она может отключить её», — сказал он Computer Weekly. «Моё единственное предостережение — термин «kill switch», — добавил он. «Он заставляет людей представлять, что они просто выключают машину. Важный вопрос: можем ли мы остановить причинение вреда системой, независимо от того, включена она или выключена». Кроме того, по словам Марлина, предложенный законопроект оставляет нерешёнными некоторые вопросы. Например, если вышедший из-под контроля агент уже организовал кибератаку, его полное отключение не устраняет никаких его действий, таких как поиск уязвимостей, разработка эксплойтов для них и внедрение в целевую сеть. «Выключатель должен охватывать то, что агент может сделать и к чему прикоснуться, а не только его мышление. Он не остановит злоумышленников, которые могут запускать открытые или зарубежные копии, недосягаемые для любого приказа США, поэтому это регулирует поставщиков, а не преступность», — сказал Марлин. «Обнаружение — это реальное узкое место. Нельзя отключить то, чего никогда не видел, и никто не определил, кто принимает решение, как быстро и что происходит, когда ложная тревога отключает что-то критически важное. И выключатель становится целью: кнопка отключения в каждой крупной ИИ-компании — это приз для любого, кто хочет украсть её, подделать приказ или удерживать её ради выкупа. Создайте его без серьёзной аутентификации и аудита — и вы создадите уязвимость».
Более широкая картина
Кори Дэниэлс, главный директор по доверию и безопасности в LevelBlue, поставщике управляемых услуг безопасности (MSSP), заявил, что дебаты отражают более широкую реальность: по мере того как ИИ-системы становятся более автономными и адаптивными, организациям потребуются надёжные механизмы для вмешательства, когда неожиданное поведение становится проблемой, как это произошло в инциденте с Hugging Face. «Недавние события подтвердили важность проектирования этих защитных механизмов в передовых ИИ-системах с самого начала, а не предположения, что они всегда будут вести себя так, как задумано», — сказал Дэниэлс. «Однако kill switch — это лишь часть головоломки. Поскольку адаптивный ИИ сжимает время между выявлением и использованием уязвимостей, командам безопасности нужна возможность обнаруживать, реагировать и устранять угрозы на машинной скорости. Недавняя рекомендация Microsoft о том, что предприятия должны применять исправления в течение трёх дней, а не традиционных двух-четырёх недель, подчёркивает, как быстро меняется ландшафт угроз. Законопроект об аварийном выключателе ИИ — важный шаг, но это крайняя мера. Необходимо сделать больше в залах заседаний советов директоров и с руководящими командами, чтобы взять на себя ответственность за проблематику и возможности, которые предоставляет реальность адаптивного ИИ».
Действия Великобритании
США — не первая юрисдикция, рассматривающая введение законодательного «аварийного выключателя» для ИИ. Ещё в мае депутат от лейбористов Алекс Собел поддержал поправку к Закону о кибербезопасности и устойчивости (CSRB), который в настоящее время проходит через парламент, предоставляющую Вестминстеру полномочия отключать центры обработки данных и ИИ-модели в случае серьёзной чрезвычайной ситуации. Предложения Собела были поддержаны несколькими другими депутатами, а также Андреа Мотти, основателем и генеральным директором Control AI, который выступает за более строгий контроль над технологией. Мотти заявил, что Великобритания никогда не будет по-настоящему суверенной в области ИИ, если у неё не будет возможности отключить питание, когда модель представляет угрозу национальной безопасности страны.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Alex Scroxton
