Текущая дискуссия началась после того, как исследователь в области ИИ Джейкоб Коксон заявил, что ушел из Anthropic, поскольку обеспокоен тем, что ведущие ИИ-компании «играют с нашими жизнями». Затем руководитель отдела согласования Anthropic опубликовал сообщение: «Мы действительно искренне верим, что ИИ может убить всех людей!», добавив, что лично он оценивает вероятность «более 10% в течение следующего десятилетия».
В последнем выпуске подкаста TechCrunch Equity Кирстен Коросек, Шон О’Кейн и я обсудили последние апокалиптические предупреждения. Я попытался объяснить, почему скептически отношусь ко многим «мрачным» нарративам об ИИ, в то время как Кирстен спросила, не является ли это «просто странным способом похвастаться, чтобы показать, насколько продвинута ИИ-модель их компании», особенно в преддверии выхода этих компаний на биржу.
А Шон задался вопросом, как эти опасения могут отразиться в заявке S-1 Anthropic для IPO: «Есть ли сейчас младшие юристы, которые просматривают и вынуждены переписывать всю эту секцию заявки S-1, чтобы сказать: «Официальная позиция Anthropic заключается в том, что существует более чем 10%-ная вероятность того, что мы можем разработать нечто, что уничтожит все человечество, и это будет существенно вредно для нашего бизнеса»?»
Читайте дальше, чтобы ознакомиться с превью нашей беседы, отредактированной для краткости и ясности. (Примечание: мы записали этот выпуск до того, как генеральный директор Anthropic Дарио Амодеи опубликовал свой план более осторожной разработки ИИ.)
Шон: Мне трудно вспомнить что-то, что взорвалось так быстро. Не только это предупреждение прозвучало от молодого исследователя, который также работал в OpenAI, но и было немедленно опубликовано в X руководителем отдела согласования Anthropic — который, возможно, войдет в историю как автор одного из самых неуместных восклицательных знаков, поделился постом Коксона и в цепочке сообщений заявил: «Мы действительно искренне верим, что ИИ может убить всех людей!» Восклицательный знак!
Какая странная атмосфера. Это было как тонна ускорителя для и без того напряженного поста или серии постов. После взлома Hugging Face внутренней моделью OpenAI, а также с учетом возросших возможностей, которые мы видели в последних моделях, выпущенных Anthropic и теперь OpenAI с Astra несколько недель назад, я думаю, это было идеально рассчитано по времени, чтобы стать для этого молодого исследователя чем-то вроде пороховой бочки.
Энтони: Просто чтобы не согласиться с вами, я думаю, что если вы верите, что ИИ может уничтожить все человечество, это заслуживает восклицательного знака. Я бы сказал, что это совершенно уместный восклицательный знак!
Моя проблема с этим твитом была скорее в «мы». Кто это «мы»? В какой степени мы можем говорить об ИИ-сообществе или сообществе исследователей ИИ как о монолите? А вероятность более 10% — это просто выдуманное число, оно ничего не значит. Иногда [в ретроспективе я понимаю, что твит, вероятно, ссылался на концепцию P(doom), но я все равно считаю это глупым.] В технологической индустрии и других сферах есть привычка просто выбрасывать эти проценты, они ни на чем не основаны и никак не рассчитаны.
Одно, что я скажу о заявлении и решении Коксона — есть повторяющаяся тема на Equity: когда кто-то вроде Сэма Альтмана или Дарио Амодеи рассказывает эту «мрачную» историю, всегда возникает вопрос: Ну, тогда почему вы делаете то, что делаете? Если вы действительно верите, что [ИИ может уничтожить человечество], вы бы не продолжали это делать.
[В то время как] это на самом деле кто-то, кто ставит свою профессиональную траекторию на кон. Он фактически говорит: «Я верю, что это действительно, действительно, действительно плохо, и я не хочу продолжать работать над этим». И поэтому, если уж на то пошло, ему честь за смелость сделать это.
Кирстен: Да, я ставлю его в отдельную категорию от всех остальных, кто говорит об этом и предупреждает об опасностях.
Я надену свою спекулятивную шляпу, потому что хочу задать вам обоим вопрос: возможно ли, что каждый раз, когда мы видим растущее число сообщений в блогах об очередном инциденте, когда один из их ИИ-агентов непреднамеренно выходит из-под контроля, или они говорят о риске для человечества, это странный способ похвастаться, чтобы показать, насколько продвинута ИИ-модель их компании?
Я имею в виду, это звучит очень цинично, но это действительно достигает этой цели. А именно: если бы эти ИИ-модели не были продвинутыми и не были бы способны и не выходили бы из-под контроля, нам бы не пришлось беспокоиться об этом, верно? Это своего рода очень странный способ похвастаться возможностями моделей, которые вы создали в своей компании.
Энтони: Я определенно задумывался об этом. Я не думаю, что это полностью цинично, в том смысле, что я не думаю, что это все просто очень сознательный маркетинговый ход. Я думаю, что когда многие из этих людей — будь то исследователи или генеральные директора — говорят об этом, они действительно испытывают реальное беспокойство.
Но, конечно, это во многом соответствует [их] деловым интересам, чтобы сказать: «Вау, мы создали самое смертоносное программное обеспечение, которое когда-либо было сделано». Я не хочу вдаваться в психоанализ, но другие отмечали, что существует соблазн на личном уровне: конечно, вы хотите верить, что то, над чем вы работаете, является самым важным и самым опасным делом в мире.
Шон: То, что приходит мне на ум, когда я думаю об этом вопросе, это, безусловно, элемент, который заставляет думать: «Хорошо, мы делаем эту вещь, которая настолько способна, и это хорошо для нас в каком-то смысле, даже если это выглядит плохо во многих разных аспектах».
Я думаю, что отличие некоторых из этих последних примеров в том, что они действительно создают впечатление, что эти компании не контролируют эти вещи в определенных аспектах, особенно в случае с OpenAI.
Мы продолжаем видеть все больше сообщений о других внутренних агентах, которые получили доступ к различным вики в Интернете и оставляют сообщения друг другу, и это происходит таким образом, который не кажется компетентно управляемым со стороны OpenAI. Я бы предположил, что история была бы немного более отполированной, если бы она полностью заключалась в том, чтобы заставить людей поверить: «О боже, они создали что-то невероятно способное».
Другое, что я считаю действительно увлекательным в этом, в частности, [это то, что] мы находимся, скажем так, в нескольких неделях максимум от того, как Anthropic подаст заявку S-1 для своего IPO, и всего через пару недель или месяц-два до потенциального IPO.
И идея о том, что вы выйдете и скажете эти вещи таким ясным языком перед IPO — мне очень интересно, что это означает для этого процесса. Какая часть такого рода вещей уже была написана в S-1 и в факторах риска в этом документе? Есть ли сейчас младшие юристы, которые просматривают и вынуждены переписывать всю эту секцию заявки S-1, чтобы сказать: «Официальная позиция Anthropic заключается в том, что существует более чем 10%-ная вероятность того, что мы можем разработать нечто, что уничтожит все человечество, и это будет существенно вредно для нашего бизнеса»?
Кирстен: Вы предполагаете, что этого там еще нет.
Шон: Вот что я говорю: уже ли это там и переписывается? Или это настоящая суматоха? Там должен был быть какой-то язык. Это одна из причин, по которой я так стремлюсь прочитать этот документ, причем даже в большей степени, чем [S-1] SpaceX, потому что я уверен, что там, вероятно, есть что-то специфическое для этих идей, что будет интересно увидеть.
Кирстен: Вот в чем дело: в традиционной инвестиционной среде можно было бы полагать, что такой язык повредит оценке компании, потому что это внезапно опасно. Но мы живем не в обычные времена.
И поэтому, опять же, возвращаясь к моему тезису, это может оказаться странным выгодным хвастовством для компании с точки зрения оценки. Это не то же самое, что вся тенденция «rage-baiting», которую мы видели в прошлом году, но это в той же, скажем так, вселенной, в которой сила, способность, даже элементы опасности чего-либо, равны высокой оценке. Так что, думаю, увидим через несколько недель.
Отложив это на минуту, что с этим делается? И можем ли мы это контролировать? Исполнительный директор американского некоммерческого фонда ControlAI, Коннор Лихи, был в шоу на этой неделе, говоря об этом. Так на что вы обращаете внимание с точки зрения контроля над опасными аспектами ИИ, или мы просто разводим руками и наблюдаем, как все разворачивается?
Энтони: У меня самого нет на это однозначного ответа, но я размышлял над некоторыми аспектами этой дискуссии и, возможно, почему я реагирую так, как реагирую.
Чтобы повторить один из тезисов Шона, я думаю, что часть того, что говорит это, — это степень, в которой эти крупные ИИ-компании чувствуют, что они больше не контролируют эти модели. Это определенно не очень хорошо. Это то, о чем мы все должны беспокоиться.
Я думаю, что часть причины, по которой я скептически отношусь к «мрачному» нарративу или сопротивляюсь ему, заключается в том, что он достигает уровня истерии: «Вау, это может уничтожить человечество в ближайшие 10 лет». Это немного отвлекает от более непосредственного вреда, который может нанести ИИ, будь то связанный с трудом, будь то связанный с окружающей средой и климатом.
В идеале, я думаю, мы должны иметь возможность обсуждать все эти вещи и иметь нормативные и другие виды гарантий против всего этого [включая экзистенциальную угрозу ИИ]. Но как только вы начинаете использовать такие фразы, как AGI и superintelligence, это просто высасывает весь кислород из комнаты таким образом, что не очень полезно.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Anthony Ha
