Странное время для “доумеров” в области ИИ.
Это небольшое, но влиятельное сообщество исследователей, ученых и экспертов по политике считает, что ИИ может стать настолько совершенным, что это будет очень, очень плохо для человечества. Хотя многие из этих людей, скорее всего, назвали бы себя сторонниками безопасности ИИ, а не буквально предсказателями конца света, они предупреждают, что ИИ представляет экзистенциальный риск для человечества. Они утверждают, что без более строгого регулирования отрасль может стремительно развиваться к созданию систем, которые она не сможет контролировать. Обычно они ожидают, что такие системы появятся после создания общего искусственного интеллекта (AGI) — скользкое понятие, которое обычно понимается как технология, способная делать все, что могут делать люди, и делать это лучше.
Эта статья является частью «Коррекции хайпа» MIT Technology Review — серии, которая пересматривает ожидания относительно того, что такое ИИ, что он делает возможным и куда мы движемся дальше.
Хотя это далеко не универсальная точка зрения в области ИИ, группе “доумеров” за последние несколько лет удалось добиться заметных успехов: они помогали формировать политику в отношении ИИ, исходящую от администрации Байдена, организовывали известные призывы к установлению международных «красных линий» для предотвращения рисков, связанных с ИИ, и получили более громкий (и влиятельный) рупор, поскольку некоторые из их сторонников получают самые престижные научные награды.
Однако ряд событий за последние шесть месяцев поставил их в невыгодное положение. Разговоры об “ИИ-пузыре” затмили все остальные дискуссии, поскольку технологические компании продолжают инвестировать в многочисленные центры обработки данных стоимостью с «Манхэттенский проект», не имея никакой уверенности в том, что будущий спрос будет соответствовать тому, что они строят.
А затем был выпуск OpenAI в августе последней фундаментальной модели GPT-5, которая оказалась несколько разочаровывающей. Возможно, это было неизбежно, поскольку это был самый разрекламированный выпуск ИИ за всю историю; генеральный директор OpenAI Сэм Альтман хвастался, что GPT-5 ощущается как «эксперт уровня PhD» по любой теме, и сказал подкастеру Тео Вону, что модель настолько хороша, что он почувствовал себя «бесполезным по сравнению с ИИ».
Многие ожидали, что GPT-5 станет большим шагом к AGI, но какой бы прогресс ни был достигнут моделью, он был омрачен серией технических сбоев и загадочным, быстро отмененным решением компании внезапно отключить доступ ко всем старым моделям OpenAI. И хотя новая модель достигла передовых результатов в бенчмарках, многие люди почувствовали, возможно, несправедливо, что в повседневном использовании GPT-5 стал шагом назад.
Все это, казалось бы, угрожает некоторым из основных аргументов “доумеров”. В свою очередь, конкурирующий лагерь ИИ-акселерационистов, которые опасаются, что ИИ развивается недостаточно быстро и что отрасль постоянно рискует быть задушенной чрезмерным регулированием, видит новый шанс изменить подход к безопасности ИИ (или, возможно, более точно, к ее отсутствию).
Это особенно верно для представителей индустрии, которые перебрались в Вашингтон: «Нарративы “доумеров” были неверны», — заявил Дэвид Сакс, давний венчурный капиталист, ставший ИИ-царем администрации Трампа. «Это представление о неминуемом AGI было отвлекающим фактором, вредным и теперь фактически доказанным как неверное», — вторил старший советник Белого дома по ИИ и инвестор в технологии Шрирам Кришнан. (Сакс и Кришнан не ответили на запросы о комментариях).
(Существует, конечно, еще один лагерь в дебатах о безопасности ИИ: группа исследователей и активистов, обычно ассоциируемая с ярлыком «ИИ-этика». Хотя они также выступают за регулирование, они склонны считать, что скорость прогресса ИИ преувеличена и часто писали о AGI как о научно-фантастической истории или мошенничестве, которое отвлекает нас от текущих угроз, связанных с технологией. Но любой потенциальный крах “доумеров” не даст им такого же шанса, какой видят акселерационисты.)
Так где же это оставляет “доумеров”? В рамках нашего пакета «Коррекция хайпа» мы решили спросить некоторых из самых известных имен этого движения, изменили ли недавние неудачи и общий сдвиг настроений их взгляды. Расстроены ли они тем, что политики, кажется, больше не прислушиваются к их угрозам? Тихо ли они корректируют свои временные рамки для апокалипсиса?
Недавние интервью с 20 людьми, изучающими или выступающими за безопасность и управление ИИ, включая лауреата Нобелевской премии Джеффри Хинтона, лауреата премии Тьюринга Йошуа Бенгио и известных экспертов, таких как бывший член правления OpenAI Хелен Тонер, показывают, что вместо того, чтобы чувствовать себя смиренными или потерянными, они по-прежнему глубоко привержены своему делу, полагая, что AGI остается не только возможным, но и невероятно опасным.
В то же время они, кажется, борются с почти противоречием. Хотя они несколько облегчены тем, что недавние события предполагают, что AGI находится дальше, чем они думали ранее («Слава богу, у нас больше времени», — говорит исследователь ИИ Джеффри Ладиш), они также чувствуют гнев из-за того, что люди, находящиеся у власти, не воспринимают их достаточно серьезно (Дэниел Кокотайло, ведущий автор предостерегающего прогноза под названием «AI 2027», называет твиты Сакса и Кришнана «безумными и/или нечестными»).
В целом, эти эксперты рассматривают разговоры об “ИИ-пузыре” не более чем как небольшое препятствие, а разочарование в GPT-5 — как более отвлекающее, чем проницательное. Они по-прежнему в целом выступают за более надежное регулирование и обеспокоены тем, что прогресс в области политики — принятие Закона ЕС об ИИ; принятие первого крупного американского законопроекта о безопасности ИИ, SB 53 в Калифорнии; и новый интерес к риску AGI со стороны некоторых членов Конгресса — стал уязвимым, поскольку Вашингтон чрезмерно реагирует на то, что “доумеры” считают краткосрочными неудачами в оправдании ожиданий.
Некоторые также стремились исправить то, что они считают наиболее стойкими заблуждениями о мире “доумеров”. Хотя критики постоянно высмеивают их за предсказания о том, что AGI не за горами, они утверждают, что это никогда не было основной частью их аргументации: речь «не идет о неотвратимости», — говорит профессор Беркли Стюарт Рассел, автор «Совместимость с человеком»: Искусственный интеллект и проблема контроля. Большинство опрошенных мной людей говорят, что их временные рамки до появления опасных систем на самом деле немного увеличились за последний год — это важное изменение, учитывая, как быстро могут меняться политический и технический ландшафты.
Многие из них, по сути, подчеркивают важность изменения временных рамок. И даже если они теперь чуть-чуть длиннее, Тонер говорит мне, что одна из главных историй эпохи ChatGPT — это драматическое сжатие этих оценок во всем мире ИИ. Долгое время, говорит она, AGI ожидали через несколько десятилетий. Теперь, по большей части, прогнозируемое прибытие приходится на ближайшие несколько лет или до 20 лет. Поэтому, даже если у нас есть немного больше времени, она (и многие ее коллеги) по-прежнему считают безопасность ИИ невероятно, жизненно срочной. Она говорит мне, что если AGI будет возможен даже в ближайшие 30 лет, «это огромное чертово дело. На этом должны работать многие люди».
Таким образом, несмотря на шаткое положение, в котором оказались “доумеры”, их главный вывод остается прежним: независимо от того, когда придет AGI (и, опять же, они говорят, что он очень вероятен), мир далек от готовности.
Возможно, вы согласитесь. Или, возможно, вы считаете, что такое будущее далеко не гарантировано. Или что это материал для научной фантастики. Вы можете даже считать AGI большой теории заговора. Вы, конечно, не одиноки — эта тема поляризует. Но что бы вы ни думали о мышлении “доумеров”, нельзя отрицать тот факт, что определенные люди в этом мире обладают большим влиянием. Итак, вот некоторые из самых видных людей в этой области, размышляющие об этом моменте своими словами.
Интервью были отредактированы и сокращены для ясности и объема.
Нобелевский лауреат, который не уверен, что грядет
Джеффри Хинтон, лауреат премии Тьюринга и Нобелевской премии по физике за новаторские работы в области глубокого обучения
Самое большое изменение за последние несколько лет заключается в том, что появились люди, которых трудно игнорировать, и они говорят, что эти вещи опасны. Например, [бывший генеральный директор Google] Эрик Шмидт, например, действительно осознал, что эти вещи могут быть очень опасными. Мы недавно были в Китае с ним, разговаривая с членом Политбюро, секретарем партии Шанхая, чтобы убедиться, что он действительно понял — и он понял. Я думаю, что в Китае руководство гораздо лучше понимает ИИ и его опасности, потому что многие из них — инженеры.
Я сосредоточился на долгосрочной угрозе: когда ИИ станет умнее нас, можем ли мы действительно ожидать, что люди останутся у власти или даже будут иметь значение? Но я не думаю, что что-то неизбежно. Существует огромная неопределенность во всем. Мы никогда раньше не были в такой ситуации. Любой, кто уверен, что знает, что произойдет, кажется мне глупым. Я думаю, что это очень маловероятно, но, возможно, окажется, что все, кто говорит, что ИИ сильно переоценен, правы. Возможно, окажется, что мы не сможем продвинуться дальше текущих чат-ботов — мы упремся в стену из-за ограниченных данных. Я в это не верю. Я думаю, что это маловероятно, но это возможно.
Я также не верю людям вроде Элизера Юдковского, которые говорят, что если кто-нибудь его создаст, мы все умрем. Мы этого не знаем.
Но если судить по совокупности доказательств, я думаю, справедливо будет сказать, что большинство экспертов, которые много знают об ИИ, считают очень вероятным, что мы получим сверхинтеллект в течение следующих 20 лет. [Генеральный директор Google DeepMind] Демис Хассабис говорит, возможно, 10 лет. Даже [известный скептик ИИ] Гэри Маркус, вероятно, скажет: «Ну, если вы создадите гибридную систему с хорошей старой символической логикой… возможно, она станет сверхинтеллектуальной». [Примечание редактора: в сентябре Маркус предсказал, что AGI появится между 2033 и 2040 годами.]
И я не думаю, что кто-то верит, что прогресс остановится на AGI. Я думаю, более или менее все верят, что через несколько лет после AGI мы получим сверхинтеллект, потому что AGI будет лучше нас в создании ИИ.
Таким образом, хотя я думаю, что ясно, что ветры становятся все более сложными, одновременно люди вкладывают гораздо больше ресурсов [в разработку передовых ИИ]. Я думаю, прогресс будет продолжаться просто потому, что в него вкладывается гораздо больше ресурсов.
Пионер глубокого обучения, который хотел бы раньше увидеть риски
Йошуа Бенгио, лауреат премии Тьюринга, председатель Международного отчета по безопасности ИИ и основатель LawZero
Некоторые люди думали, что GPT-5 означает, что мы уперлись в стену, но научные данные и тенденции говорят не совсем об этом.
Были люди, которые преувеличивали идею о том, что AGI уже завтра утром, что коммерчески могло иметь смысл. Но если посмотреть на различные бенчмарки, GPT-5 — это просто то, чего и следовало ожидать от моделей в тот момент времени. Кстати, это не только GPT-5, но и Claude, и модели Google. В некоторых областях, где ИИ-системы были не очень хороши, например, Humanity’s Last Exam или FrontierMath, они сейчас показывают гораздо лучшие результаты, чем в начале года.
В то же время, общий ландшафт управления и безопасности ИИ не очень хорош. Существует сильная сила, выступающая против регулирования. Это как изменение климата. Мы можем уткнуться носом в песок и надеяться, что все будет хорошо, но это не решает проблему.
Самый большой разрыв с политиками — это непонимание масштаба изменений, которые, вероятно, произойдут, если тенденция прогресса ИИ продолжится. Многие люди в бизнесе и правительствах просто думают об ИИ как об очередной технологии, которая будет очень мощной в экономическом плане. Они не понимают, насколько это может изменить мир, если тенденции сохранятся, и мы приблизимся к ИИ уровня человека.
Как и многие люди, я в какой-то степени закрывал глаза на потенциальные риски. Мне следовало увидеть это раньше. Но это по-человечески. Вы увлечены своей работой и хотите видеть ее положительную сторону. Это делает нас немного предвзятыми в том, чтобы не обращать внимания на плохие вещи, которые могут случиться.
Даже небольшой шанс — например, 1% или 0,1% — на создание аварии, в результате которой погибнут миллиарды людей, неприемлем.
Ветеран ИИ, который считает, что ИИ развивается, но недостаточно быстро, чтобы предотвратить лопнувшую “пузырь”
Стюарт Рассел, заслуженный профессор компьютерных наук Калифорнийского университета в Беркли и автор «Совместимость с человеком»
Я надеюсь, что идея о том, что разговоры о экзистенциальном риске делают вас “доумером” или “научной фантастикой”, будет рассматриваться как маргинальная, учитывая, что большинство ведущих исследователей ИИ и большинство ведущих руководителей ИИ относятся к этому серьезно.
Были утверждения, что ИИ никогда не сможет пройти тест Тьюринга, или что никогда не будет системы, которая свободно использует естественный язык, или системы, которая сможет параллельно парковать автомобиль. Все эти утверждения опровергаются прогрессом.
Люди тратят триллионы долларов на создание сверхчеловеческого ИИ. Я думаю, им нужны новые идеи, но есть значительный шанс, что они их придумают, потому что за последние несколько лет появилось много значимых новых идей.
Моя стабильная оценка за последние 12 месяцев заключается в том, что существует 75% вероятность того, что эти прорывы не произойдут вовремя, чтобы спасти отрасль от лопнувшего пузыря. Поскольку инвестиции соответствуют прогнозу, что у нас будет гораздо лучший ИИ, который принесет гораздо больше ценности реальным клиентам. Но если эти прогнозы не оправдаются, на фондовых рынках будет много крови.
Однако аргумент безопасности заключается не в неотвратимости. Он заключается в том, что у нас все еще нет решения проблемы контроля. Если бы кто-то сказал, что астероид диаметром четыре мили столкнется с Землей в 2067 году, мы бы не сказали: «Напомните мне в 2066 году, и мы подумаем об этом». Мы не знаем, сколько времени потребуется для разработки технологии, необходимой для контроля сверхинтеллектуального ИИ.
Глядя на прецеденты, допустимый уровень риска для аварии на атомной электростанции составляет примерно один на миллион в год. Вымирание гораздо хуже. Так что, возможно, установим допустимый риск один на миллиард. Но компании говорят, что это примерно один из пяти. Они не знают, как сделать это приемлемым. И это проблема.
Профессор, пытающийся внести ясность в нарратив об ИИ-безопасности
Дэвид Крюгер, доцент кафедры машинного обучения Монреальского университета и Института Мила Йошуа Бенгио, а также основатель Evitable
Я думаю, люди определенно перекорректировали свою реакцию на GPT-5. Но был хайп. Насколько я помню, было несколько заявлений от генеральных директоров различной степени явности, которые, по сути, говорили, что к концу 2025 года у нас появятся автоматизированные удаленные работники, полностью заменяющие людей. Но кажется, что это было не впечатляюще, и агенты еще не совсем готовы.
Меня удивило, насколько сильно эти нарративы, предсказывающие AGI в 2027 году, захватывают общественное внимание. Когда наступит 2027 год, если все будет выглядеть довольно нормально, я думаю, люди почувствуют, что весь этот мировоззрение был опровергнут. И действительно раздражает, как часто, когда я разговариваю с людьми об ИИ-безопасности, они предполагают, что я думаю, что у нас очень короткие сроки до опасных систем, или что я думаю, что LLM или глубокое обучение дадут нам AGI. Они приписывают мне все эти дополнительные предположения, которые не являются необходимыми для построения аргумента.
Я бы ожидал, что нам понадобятся десятилетия для решения проблемы международной координации. Поэтому, даже если опасный ИИ будет далеким делом, это уже срочно. Этот момент, кажется, действительно упускается из виду многими людьми. Существует идея: “Давайте подождем, пока у нас не будет действительно опасной системы, а затем начнем ее регулировать”. Чувак, это слишком поздно.
Я по-прежнему считаю, что люди в сообществе безопасности склонны работать за кулисами, с людьми у власти, а не с гражданским обществом. Это дает пищу тем, кто говорит, что это все просто мошенничество или лоббирование инсайдеров. Это не значит, что в этих нарративах нет правды, но основная опасность по-прежнему реальна. Нам нужно больше общественного осведомленности и широкая база поддержки для эффективного реагирования.
Если вы действительно верите, что есть 10% шанс гибели в ближайшие 10 лет — а я думаю, что разумный человек должен так считать, если он внимательно посмотрит — то первое, о чем вы думаете: “Зачем мы это делаем? Это безумие”. Это просто очень разумный ответ, как только вы принимаете предпосылку.
Эксперт по управлению, обеспокоенный доверием к ИИ-безопасности
Хелен Тонер, исполняющая обязанности исполнительного директора Центра безопасности и развивающихся технологий Джорджтаунского университета CSET и бывший член правления OpenAI
Когда я пришла в эту область, ИИ-безопасность была скорее набором философских идей. Сегодня это процветающий набор подполей машинного обучения, заполняющий пробел между “дикими” опасениями по поводу коварства, обмана или стремления к власти со стороны ИИ и реальными конкретными системами, которые мы можем тестировать и с которыми можем работать.
Управление ИИ улучшается медленно. Если у нас будет много времени для адаптации, и управление будет продолжать медленно улучшаться, я буду чувствовать себя неплохо. Если времени будет мало, то мы, вероятно, движемся слишком медленно.
Я думаю, что GPT-5 в целом рассматривается в Вашингтоне как разочарование. Существует довольно поляризованный разговор: будет ли у нас AGI и сверхинтеллект в ближайшие несколько лет? Или ИИ — это на самом деле полный хайп, бесполезный и пузырь? Маятник, возможно, качнулся слишком далеко в сторону “У нас будут очень, очень скоро сверхобученные системы”. И теперь он качается обратно в сторону “Это все хайп”.
Я беспокоюсь, что некоторые агрессивные оценки сроков AGI от некоторых специалистов по ИИ-безопасности ставят их в ситуацию “мальчика, который кричал “волк””. Когда предсказания о том, что AGI появится в 2027 году, не сбудутся, люди скажут: “Посмотрите на всех этих людей, которые выставили себя дураками. Их больше никогда не следует слушать”. Это не интеллектуально честный ответ, если, возможно, они позже изменили свое мнение, или их точка зрения заключалась в том, что они считали это вероятным только на 20%, и они думали, что на это все равно стоит обратить внимание. Я думаю, это не должно дисквалифицировать людей для дальнейшего прослушивания, но я действительно беспокоюсь, что это будет серьезным ударом по доверию. И это касается людей, которые очень обеспокоены безопасностью ИИ и никогда не говорили ничего о очень коротких сроках.
Исследователь ИИ-безопасности, который теперь считает, что AGI дальше — и благодарен за это
Джеффри Ладиш, исполнительный директор Palisade Research
За последний год мои прогнозы по AGI изменили две важные вещи.
Во-первых, нехватка высококачественных данных оказалась большей проблемой, чем я ожидал.
Во-вторых, первая модель “рассуждения”, OpenAI o1 в сентябре 2024 года, показала, что масштабирование обучения с подкреплением было более эффективным, чем я думал. А затем, спустя месяцы, вы видите масштабирование o1 до o3 и наблюдаете довольно впечатляющую производительность в математике, кодировании и науке — областях, где легче проверить результаты. Но хотя мы видим постоянный прогресс, он мог бы быть намного быстрее.
Все это сдвигает мою среднюю оценку начала полностью автоматизированных исследований и разработок ИИ с трех лет до, возможно, пяти или шести лет. Но это своего рода выдуманные цифры. Это сложно. Я хочу оговориться, что это просто действительно сложно делать прогнозы.
Слава богу, у нас есть больше времени. У нас есть, возможно, очень короткое окно возможностей, чтобы действительно попытаться понять эти системы, прежде чем они станут достаточно способными и стратегическими, чтобы представлять реальную угрозу нашей способности контролировать их.
Но страшно видеть, как люди думают, что мы больше не прогрессируем, когда это явно не так. Я просто знаю, что это не так, потому что я пользуюсь моделями. Один из недостатков того, как прогрессирует ИИ, заключается в том, что скорость его развития становится менее понятной для обычных людей.
Теперь это не относится к некоторым областям — например, посмотрите на Sora 2. Любому, кто ее увидит, предельно ясно, что Sora 2 намного лучше, чем то, что было раньше. Но если вы спросите GPT-4 и GPT-5, почему небо голубое, они дадут вам примерно один и тот же ответ. Это правильный ответ. Он уже насытил способность объяснить, почему небо голубое. Поэтому люди, которые, по моему мнению, лучше всего понимают прогресс ИИ прямо сейчас, — это люди, которые фактически создают с помощью ИИ или используют ИИ для решения очень сложных научных задач.
Прогнозист AGI, который предвидел критиков
Дэниел Кокотайло, исполнительный директор AI Futures Project; инсайдер OpenAI; и ведущий автор «AI 2027» — яркий сценарий, в котором, начиная с 2027 года, ИИ прогрессирует от «сверхумных кодеров» до «дико сверхинтеллектуальных» систем за несколько месяцев
Политика в области ИИ, кажется, ухудшается, например, «Про-ИИ» супер PAC [запущенный ранее в этом году руководителями OpenAI и Andreessen Horowitz для лоббирования дерегуляторной повестки дня], и безумные и/или нечестные твиты от Шрирама Кришнана и Дэвида Сакса. Исследования в области безопасности ИИ прогрессируют в обычном темпе, который захватывающе быстр по сравнению с большинством областей, но медленный по сравнению с тем, как быстро это необходимо.
На первой странице «AI 2027» мы указали, что наши временные рамки несколько длиннее 2027 года. Поэтому даже когда мы запускали AI 2027, мы ожидали, что в 2028 году появится куча критиков, триумфально заявляющих, что мы были дискредитированы, как в твитах Сакса и Кришнана. Но мы думали и продолжаем думать, что взрыв интеллекта, вероятно, произойдет в течение следующих пяти-десяти лет, и когда это случится, люди вспомнят наш сценарий и поймут, что он был ближе к истине, чем что-либо другое, доступное в 2025 году.
Предсказывать будущее сложно, но пытаться полезно; люди должны стремиться сообщать о своей неопределенности в отношении будущего таким образом, чтобы это было конкретно и опровержимо. Вот что мы сделали, и очень немногие сделали это. Наши критики в основном не делали собственных прогнозов и часто преувеличивают и искажают наши взгляды. Они говорят, что наши сроки короче, чем они есть или когда-либо были, или говорят, что мы более уверены, чем мы есть или были.
Я чувствую себя неплохо, имея более длительные сроки до AGI. Чувствую себя так, будто только что получил лучший прогноз от врача. Ситуация, однако, осталась прежней.
Гаррисон Лавли — независимый журналист и автор Obsolete, онлайн-публикации и предстоящей книги о дискурсе, экономике и геополитике гонки за создание машинного сверхинтеллекта (выйдет весной 2026 года). Его статьи об ИИ появлялись в New York Times, Nature, Bloomberg, Time, The Guardian, The Verge и других изданиях.
Автор – technologyreview.com
