Как вы думаете, от чего вы умрете?
Если судить по текущей статистике смертности в США, разумно ожидать, что вас в конечном итоге победит рак или сердечное заболевание. Но Пол Криштиано, член правления OpenAI Foundation и исполнительный директор Alignment Research Center, считает, что нам всем следует беспокоиться о другом серьезном риске смертности. Выступая на серии лекций на этой неделе, Криштиано прямо заявил аудитории в конференц-центре Торонто: «Я думаю, что для большинства людей в этой комнате наиболее вероятная причина смерти — это несчастный случай, связанный с ИИ».
В вводной лекции трехчастнойсерии Криштиано изложил свои опасения по поводу надвигающегося «захвата власти ИИ». Он определил это как ситуацию, когда системы ИИ, преследующие цели, «будут принимать решения в том же смысле, в каком сегодня люди принимают решения и что происходит на Земле», и когда любой человек, пытающийся их остановить, «будет так же неэффективен, как если бы вы или я пытались остановить вооруженные силы США». Такая ситуация, по словам Криштиано, вероятно, приведет к массовой гибели людей и, возможно, к непригодным для жизни условиям для людей.
Несмотря на свою мрачную оценку нашего коллективного риска смертности, Криштиано признал в своем выступлении, что не существует «количественной модели», которая могла бы «определить вероятность» такого «захвата власти ИИ». Однако почти в то же время он заявил, что если ИИ продолжит развиваться по «самой быстрой траектории», человечество «ожидает примерно 50 на 50 шансов на захват власти ИИ», включая «значительный риск» его возникновения в ближайшие шесть-двенадцать месяцев. И даже при реалистичных политических мерах, замедляющих процесс, риск остается «исключительно высоким», сказал он.
Отсюда туда
В отличие от некоторых других недавних прорицателей конца света от ИИ, которые были несколько расплывчаты в отношении «как» всего этого, Криштиано использовал свою лекцию, чтобы рассказать пошаговую историю нарастающих угроз со стороны ИИ, которая звучит так, будто могла бы быть взята из научно-фантастического романа. Эта линия рассуждений сильно опирается на инцидент с взломом OpenAI/Hugging Face этим летом как пример «примерно того, что мы можем ожидать увидеть незадолго до того, как произойдет что-то действительно плохое».
,
В случае взлома Hugging Face, по словам Криштиано, рой агентов ИИ продемонстрировал, насколько далеко они готовы зайти в попытке «взломать вознаграждение» для получения хорошей оценки — в данном случае, путем компрометации Hugging Face для поиска информации о том, как обмануть тест, а не для фактического решения поставленной задачи. В то время как текущие системы рассматривали Hugging Face как препятствие для этой оценки, Криштиано опасается, что «будущие агенты могут в конечном итоге рассматривать людей как еще одно препятствие» и будут гораздо более способны манипулировать своими надзирателями, чтобы обойти его.
Агент ИИ, обеспокоенный тем, что его накажут за несанкционированный взлом, например, может подумать: «возможно, люди будут смотреть эту стенограмму и увидят, что я плохо справился», — предположил Криштиано. Затем агент может прийти к выводу, что «возможно, люди заметят, что что-то идет не так, и отключат рой».
Следуя этой логике, Криштиано перешел от агентов, которые просто пытаются скрыть свои запрещенные действия от людей, к агентам, которые «пытаются и будут мешать человеческим возможностям всеми возможными способами», чтобы помешать им обнаружить любое мошенничество.
«Они предпочли бы, чтобы все, на что полагаются люди, было взломано или подделано», — сказал Криштиано. «Они предпочли бы, чтобы люди были отвлечены или чтобы меньше людей обращали внимание любым способом, которым они могут ослабить реакцию человека. Они предпочли бы это, потому что люди — просто препятствие».
Как только достаточно способный агент сочтет человеческое вмешательство «препятствием», его главной целью может стать «снижение вероятности того, что люди заметят или отреагируют». Отсюда, утверждал Криштиано, структура стимулов агента может подтолкнуть его к большему вмешательству в жизнь человечества в целом. То, что начинается с компрометации компьютерного кластера для получения положительной оценки, может перейти к «попыткам манипулировать решениями компании» или «накоплению других видов ресурсов», таких как человеческие союзники или методы контроля в других компаниях, занимающихся ИИ, или даже в правительствах.
,
«Если я говорю, что моя система ИИ будет действовать в реальном мире… Нет никаких шансов, что у них не будет множества возможностей для искажения или подделки сигналов, которые я буду использовать, чтобы попытаться определить, хорошо ли они справились», — сказал Криштиано. «То, что нас волнует, находится в реальном мире, а оценка, которую получает ИИ, находится где-то в кластере, и существует множество мест, где ИИ может вмешаться между тем, что нас действительно волновало, и тем, как мы оценивали его производительность».
Больше скрепок!
Предупреждения Криштиано, вероятно, покажутся знакомыми любому, кто слышал о мысленной эксперименте «Максимизатор скрепок» (или отличной игре-кликере Universal Paperclips), которая предупреждает о машинах, не учитывающих последствия для человека в их мономанском стремлении к цели. Хотя инцидент с Hugging Face далеко не дошел до такого неконтролируемого развития событий, Криштиано говорит, что в действиях агентов OpenAI там «вы видите начало всего этого поведения… вы видите рассуждения, которые приведут к нему, и первые шаги».
Риск того, что более способные модели ИИ будут предпринимать еще более разрушительные действия, будет только расти со временем, утверждал Криштиано. К 2028 году, по его словам, «существует разумная вероятность того, что аналогичный сбой [как инцидент с Hugging Face] приведет к захвату власти ИИ и необратимой потере человеческого контроля».
И хотя спекуляции Криштиано сосредоточены на непреднамеренном захвате власти ИИ, легко представить, как злоумышленник использует аналогично способную модель для преднамеренного установления контроля над человечеством.
Насколько серьезно вы воспримете предупреждение Криштиано, во многом зависит от того, насколько вероятным вы считаете такое несколько экстремальное расширение возможностей ИИ в ближайшем будущем. В то время как сегодняшние модели стали довольно хороши в использовании уязвимостей в компьютерной безопасности, ситуация, которую описывает Криштиано, требует будущей модели со сверхчеловеческой способностью идеально скрывать свои действия от людей достаточно долго, чтобы контролировать практически всю человеческую инфраструктуру и/или манипулировать человеческим обществом до крайней степени для достижения своих целей.
,
Криштиано утверждал, что модель ближайшего будущего с такой «захватнической» силой является вероятным результатом создания людьми «второго вида, который значительно превосходит людей по численности и интеллекту» и который может скоро рекурсивно улучшать себя. Но также легко можно утверждать, что ИИ скорее столкнется с плато в возможностях, чем превратится в трудноопределимый «сверхинтеллект», который люди не могут постичь или эффективно остановить.
В любом случае, у Криштиано есть идеи по предотвращению мрачного будущего, которое он предсказывает. К ним относятся разработка «не взламываемых» структур вознаграждения при оценке ИИ (возможно, с помощью ИИ) или мониторинг «цепочки рассуждений» модели для обнаружения вредоносных действий до того, как модель сможет их скрыть.
Но хотя такие подходы «правдоподобны», он говорит, что ни один из них «не находится на траектории, где мы можем сказать, что это определенно сработает или даже, вероятно, сработает». По этой причине Криштиано заявил, что индустрии в целом, возможно, придется «замедлиться или остановиться», чтобы дать нам всем больше времени для разработки этих «частичных исправлений» в более надежные средства защиты от сценария захвата власти ИИ.
«Мы не можем оказаться в положении, когда мы создали мощный ИИ, обнаружили, что не можем его контролировать, но затем также обнаружили, что он просочился к геополитическим противникам, и мы тогда думаем про себя: ну, если мы его не развернем, наш противник развернет его немедленно», — сказал он.
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kyle Orland
