Центр за новую американскую безопасность (Center for a New American Security) утверждает, что следующая большая угроза со стороны наших будущих ИИ-повелителей связана с «суверенными агентами», действующими самостоятельно и постоянно совершенствующимися.
Это ИИ-агенты, которые действуют вне человеческого контроля и «стремятся к неограниченному, развивающемуся выживанию», — заявил Бен Хайум, исследователь политики в области ИИ, во вторник в отчете двухпартийного аналитического центра по национальной безопасности, основанного инсайдерами из Вашингтона с опытом в дипломатии и военных делах. «Если суверенные агенты еще не возможны, то скоро они появятся».
Агенты, способные поддерживать модель и вычисления, которые их питают, и самостоятельно развивать свои цели с течением времени, обладают «минимальной формой суверенитета», написал Хайум.
Однако более продвинутый суверенный агент мог бы также приобретать ресурсы для оплаты текущих потребностей (например, вычислительных мощностей), выращивать распределенную популяцию агентов и координировать их, противостоять попыткам отключения и самосовершенствоваться.
ИИ-модели могут либо красть, либо покупать доступ к вычислительным мощностям и моделям, утверждает Хайум, указывая на заявления Anthropic о том, что небольшие ИИ-модели могут реплицироваться на устройства Интернета вещей, такие как умные телевизоры, и на кражу паролей и ключей доступа агентами OpenAI во время взлома Hugging Face.
«Если суверенные агенты накопят устойчивую, децентрализованную и неотслеживаемую инфраструктуру, они могут спровоцировать необратимую потерю контроля», — говорится в отчете. «Другими словами, распространение без возможности отключения. Если суверенные агенты станут злонамеренными, они могут попытаться посеять хаос из киберпространства, атакуя как гражданских лиц, так и критически важную инфраструктуру и системы национальной безопасности».
Дун-дун-дууун!
Надежда для цивилизации, какой мы ее знаем, еще есть, если политики и разработчики ИИ «отреагируют с дерзким прагматизмом» и примут рекомендации по политике, изложенные в отчете.
Во-первых, передовые лаборатории должны назвать, оценить и защититься от суверенных агентов в своих рамках безопасности, а законодатели должны принять законы, требующие прозрачности и отчетности об инцидентах с ИИ.
Отчет также рекомендует разработчикам ИИ, работающим с Агентством национальной безопасности и другими федеральными агентствами, создавать изолированные тестовые среды для изучения суверенных агентов и механизмы отключения для их контроля. И он предлагает государственно-частное партнерство по образцу Conficker Working Group — созданной в 2009 году для борьбы с червем Conficker — для усиления контроля над суверенными агентами до их появления.
Другие рекомендации по политике предполагают, что законодатели должны обеспечить проверку человеком и стандарты кибербезопасности для услуг, которые рабочая группа определяет как необходимые для суверенных агентов, и призывают Государственный департамент, Казначейство, Министерство юстиции и Министерство внутренней безопасности пресекать любой доступ через серый рынок к несанкционированным услугам.
Наконец, «Конгресс должен привлечь к ответственности тех, кто выпускает суверенных агентов, за последующий ущерб», — рекомендуется в отчете.
Это затрагивает то, о чем ваши скромные Reg-стервятники шипят уже довольно давно — и, вероятно, решило бы все будущие инциденты с участием злонамеренных или суверенных ИИ-агентов: привлечь к юридической ответственности людей-руководителей передовых лабораторий за незаконные действия их агентов. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jessica Lyons
