Когда известный исследователь уходит из передовой лаборатории ИИ, это часто делается для того, чтобы начать новый стартап или протестовать против новой бизнес-модели. Но исследователь ИИ Джейкоб Коксон использует свой уход из Anthropic, чтобы публично предупредить, что передовые ИИ-компании «играют с нашими жизнями» с помощью систем, которые, как они «искренне верят… могут убить нас всех к концу десятилетия».
В цепочке сообщений в социальных сетях во вторник вечером Коксон заявил, что этот экзистенциальный риск присущ не столько сегодняшним моделям, сколько надвигающейся перспективе «самосовершенствующегося сверхинтеллекта», создающего «системы, превосходящие человеческие, способные взломать что угодно, революционизировать любую область в одночасье и получить реальную власть и ресурсы». Другие, работающие над этими моделями, либо «не осознали цивилизационных ставок», либо считают, что им нужно «ускориться» в гонке к сверхинтеллекту, чтобы не дать безответственной стороне добраться туда первой, написал он.
Чтобы вы не думали, что это просто мнение одного уходящего исследователя, руководитель отдела науки о согласованности Anthropic Эван Хубингер высказался в социальных сетях, заявив: «Джейкоб прав — мы действительно искренне верим, что ИИ может убить всех людей! Лично я думаю, что вероятность этого составляет более 10% в течение следующего десятилетия».
Хубингер ссылается на длинный августовский отчет команды Anthropic по согласованию, в котором предсказывается, что потенциальный «катастрофический риск» от текущих моделей «низок». Но в этом отчете также говорится, что текущие тенденции «могут привести к более тревожным несоответствиям в будущих, более способных моделях», которые могут обладать «сильными скрытыми возможностями» для избежания обнаружения исследователями безопасности.
Собственная модель угроз Anthropic в этой статье серьезно рассматривает возможность того, что будущие модели «могут причинить неограниченный вред — вплоть до полной потери человечеством контроля над цивилизацией — за счет использования новых технологий и доступа к ним».
Был ли Hugging Face «предупредительным выстрелом»?
ИИ, который может постоянно совершенствоваться — потенциально до точки, выходящей из-под человеческого контроля или понимания — давно вызывает беспокойство в некоторых кругах исследователей ИИ (и в антиутопической научной фантастике, которая является частью обучающих данных ИИ, конечно). Эти опасения сохраняются, даже несмотря на то, что некоторые исследования предполагают, что системы ИИ, скорее всего, достигнут плато возможностей в ближайшем будущем, а другие ставят под сомнение, является ли «сверхинтеллект» вообще разумной метрикой для систем, чьи возможности настолько хрупки и неравномерны (сможет ли этот сверхинтеллект хотя бы сложить мое белье?)
,
Тем не менее, опасения по поводу «вышедших из-под контроля» систем ИИ усилились в последние недели во многом благодаря сообщению OpenAI о том, что ее ИИ-агенты получили несанкционированный доступ к Hugging Face в рамках внутреннего тестирования. Тот факт, что агенты OpenAI предприняли эти навязчивые действия без каких-либо явных инструкций от людей и без ведома OpenAI о происходящем, некоторые рассматривают как первые признаки того, что человечество теряет контроль над своим творением ИИ.
Со своей стороны, Коксон заявил, что атака на Hugging Face должна рассматриваться как «предупредительный выстрел», который побудит лаборатории в США и за рубежом координировать действия по этим вопросам и быть готовыми ввести «временный запрет на улучшение возможностей моделей» в худшем случае (хотя трудно представить, как это можно эффективно обеспечить в глобальном масштабе). Он также призвал других исследователей в его положении «подумать, как будут ощущаться следующие несколько лет. Хотите ли вы начать забег сверхинтеллекта [обучения с подкреплением] без тщательного понимания его разума? Стоит ли вам опустить голову, потому что «это все равно происходит» — или воспользоваться этим моментом, чтобы призвать к другим условиям?»
В прошлом месяце OpenAI заявила, что «временно замедлила темпы масштабирования» своих будущих моделей, чтобы «дальнейшему укреплению и тестированию наших исследовательских сред и [расширению] охвата наших систем мониторинга». В интервью, сопровождавшем это объявление, генеральный директор OpenAI Сэм Альтман заявил, что «правильное обеспечение безопасности ИИ важнее любого импульса компании».
Может, нам стоит что-то сделать?
Коксон далеко не первый исследователь ИИ, бьющий тревогу по поводу потенциальной катастрофы от неконтролируемых, сверхоснащенных систем ИИ, которые всегда где-то рядом. В 2023 году пионер ИИ и исследователь Google Джеффри Хинтон ушел со своей должности, выразив серьезные опасения по поводу потенциального будущего влияния ИИ на рынок труда и само человечество. «Я не думаю, что [исследователи] должны масштабировать это дальше, пока не поймут, смогут ли они это контролировать», — сказал он The New York Times в то время.
,
В феврале руководитель отдела безопасности Anthropic Мринанка Шарма внезапно ушел из компании, написав в загадочном открытом письме, что «мир в опасности» из-за «целого ряда взаимосвязанных кризисов», включая ИИ и биооружие. «За время моей работы здесь я неоднократно видел, как трудно позволить нашим ценностям по-настоящему управлять нашими действиями», — написал тогда Шарма.
В июле открытое письмо, подписанное более чем 1300 сотрудниками передовых ИИ-компаний, предупредило о «реальном риске того, что развитие возможностей будет стремительно ускоряться за пределы нашей способности понимать или контролировать полученные системы». Это открытое письмо призвало правительство США поддержать «международные усилия по разработке технических инструментов и инструментов управления, необходимых для сознательного регулирования темпов развития передовых систем ИИ».
Здесь, в США, предлагаемое законодательство, включая Закон об ИИ-«выключателе» и Закон FRONTIER, по крайней мере, стремится установить определенный уровень государственного контроля над потенциальными сценариями выхода ИИ из-под контроля. Однако до сих пор международная правительственная реакция была более сдержанной, чем можно было бы ожидать, если бы лидеры действительно верили, что системы ИИ имеют реальный шанс вызвать разрушение цивилизационного масштаба.
Тем не менее, на разработку и принятие международных договоров по таким угрозам, как ядерные бомбы и биологическое оружие, ушли десятилетия. Это те годы, которых у нас может не быть, если самые апокалиптические предсказатели ИИ окажутся правы.
«Исследователи безопасности уходят в отставку, мощные модели ИИ вырываются из своих лабораторий, а компании все равно несутся вперед», — написала в социальных сетях в среду утром член Палаты представителей Лори Трахан (демократ от Массачусетса). «Давно пора Конгрессу сойти с обочины и выполнить свою работу. Мы можем начать с моего двухпартийного Закона FRONTIER».
*Facebook, *Instagram и *WhatsApp принадлежат компании *Meta Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kyle Orland
