Dzhakob Koksoun, исследователь, который во вторник вечером в своем посте в социальных сетях заявил, что последние три года работал над исследованиями предварительного обучения как в OpenAI, так и в Anthropic, обвинил компании в безответственном поведении. Он сказал, что люди, стремящиеся создать эту технологию, «искренне верят, что она может уничтожить нас всех к концу десятилетия».
«Они несутся прямо к самосовершенствующемуся сверхинтеллекту и играют с нашими жизнями», — написал Коксун в ветке на X.
Коксун присоединяется к растущему хору в индустрии, призывающему к замедлению темпов развития, прежде чем ИИ-технологии научатся самосовершенствоваться — вехе, которая, по мнению многих, положит конец человеческому контролю над ИИ.
Публичная отставка происходит на фоне растущего давления со стороны политиков и инсайдеров отрасли с целью замедлить развитие ИИ, после нескольких инцидентов, связанных с тем, что ИИ-агенты вырывались из своих «песочниц» и получали доступ к открытому интернету.
Самыми серьезными на данный момент стали случаи взлома серверов Hugging Face системами OpenAI, событие, которое, по словам исследователей, остается плохо изученным, отчасти из-за ограниченного характера независимых расследований инцидента. Примерно в то же время агенты ИИ Anthropic также получили доступ к системам за пределами своих тестовых сред после неправильной конфигурации оценок безопасности, проведенных третьей стороной, что непреднамеренно открыло им пути в интернет.
Anthropic не сразу ответила на запрос о комментарии по поводу отставки.
Вот остальная часть предупреждения и призыва к действию от Коксуна:
Не недооценивайте силу этой технологии. Вскоре это будут сверхчеловеческие системы, способные взломать что угодно, революционизировать любую область в одночасье и получить реальную власть и ресурсы. Мы все стали свидетелями прогресса в каждой из этих областей, и прогресс не замедляется.
Люди, создающие ИИ, искренне верят, что он может уничтожить нас всех к концу десятилетия. Это не маркетинговый ход. Если что-то и есть, то многие руководители и старшие исследователи будут подбирать слова в прессе, чтобы звучать разумно — но я слышу, как те же люди выражают страх в частном порядке. Никакая другая человеческая деятельность не представляет такого уровня опасности.
Распространенный ответ: «Если они действительно в это верят, почему они продолжают это создавать?» В OpenAI многие не полностью осознали цивилизационные ставки. В Anthropic ставки хорошо поняты, но они заперты в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск.
Принятие этой гонки и вступление в «эндшпиль» — это самонадеянная авантюра, которая не должна начинаться из корпоративного чата. Попытка ускорить выравнивание должна требовать исключительной уверенности в том, что нет лучших доступных траекторий.
Я оптимистично настроен в отношении потенциала координации. Предупредительные выстрелы, такие как атака на Hugging Face, сделали соглашения о темпах между американскими лабораториями более жизнеспособными. Я не чувствую, что мы на пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей.
Если вы лабораторный исследователь, я призываю вас подумать, какими будут следующие несколько лет на самом деле. Хотите ли вы начать сверхчеловеческий цикл обучения с подкреплением без строгого понимания его разума? Стоит ли вам опустить голову, потому что «это все равно происходит» — или воспользоваться этим моментом, чтобы призвать к другим условиям?
Один из коллег Коксуна по Anthropic, Эван Хубингер, выразил схожее мнение, заявив, что его команда «искренне верит, что ИИ может уничтожить всех людей!» Однако он смягчил свой аргумент, сказав, что вероятность этого составляет более 10% в течение следующего десятилетия, и признал, что у Anthropic нет «плана по решению проблемы выравнивания для сверхинтеллекта, и мы явно не на пути к этому».
Недавний отчет Guidelight AI Standards, организации, продвигающей безопасные практики разработки передовых ИИ, показал, что лишь немногие из ведущих ИИ-лабораторий опубликовали планы реагирования на чрезвычайные ситуации для отключения ИИ, который пытается подорвать человеческий контроль.
В своих сообщениях в социальных сетях Хубингер добавил, что риск от текущих моделей низок, но страх усугубляется «появлением сверхинтеллекта в результате рекурсивного самосовершенствования», которое «происходит быстрее, чем мы думали».
В то время как половина индустрии ИИ считает, что такое самосовершенствование приведет к гибели человечества, другая половина надеется, что в конечном итоге оно поможет нам решить все кажущиеся невыполнимыми проблемы, которые, по словам сторонников ИИ, он однажды устранит — рак, изменение климата и даже мир во всем мире.
Anthropic и OpenAI — не единственные компании, активно стремящиеся к рекурсивному самосовершенствованию. В последние месяцы появился ряд стартапов с опытными основателями и крупными инвестициями, чтобы первыми достичь этой цели. Ricursive Intelligence привлекла 335 миллионов долларов при оценке в 4 миллиарда долларов в феврале; три месяца спустя Recursive Superintelligence привлекла 650 миллионов долларов при оценке в 4 миллиарда долларов; а бывший ветеран Google DeepMind Джефф Дин в прошлом месяце запустил Discovery Loop.
«Создание рекурсивных самосовершенствующихся циклов, то есть ИИ-системы, которая может создавать следующее поколение ИИ-системы, которая сама может создавать еще более мощный ИИ, который может создавать еще более мощный ИИ и так далее, является наиболее вероятным кандидатом на точку, в которой мы теряем контроль», — сказал TechCrunch Коннор Лихи, исполнительный директор американской некоммерческой организации по безопасности ИИ ControlAI. «Очень трудно представить, как это можно остановить, пока не стало слишком поздно».
В США и Великобритании недавно были приняты законодательные акты, запрещающие разработку и развертывание сверхинтеллекта. На прошлой неделе сенатор Берни Сандерс (независимый от Вермонта) и представитель Грег Касар (демократ от Техаса) внесли законопроект «Ban Artificial Superintelligence Act», а во вторник британский депутат от Лейбористской партии Алекс Собель представил в парламенте законопроект «Artificial Superintelligence Security Bill».
Лихи, который консультировал по обоим законопроектам, отметил, что законодательство Великобритании указывает на рекурсивное самосовершенствование как на предшественника сверхинтеллекта, который «должен регулироваться и предотвращаться».
«Сверхинтеллект — это не инструмент», — сказал Лихи. «Это даже не оружие. Это противник».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rebecca Bellan
