Кажется, в последние годы Кремниевая долина говорила только о том, каким славным будет будущее человечества благодаря искусственному интеллекту. Персонализированное образование, круглосуточный доктор-терапевт, лекарства от всех болезней и искоренение бедности — практически всё, чего мы можем пожелать, будет доступно всего по нескольким запросам. Но за последние две недели настроение заметно изменилось. Внезапно вместо предвкушения новой золотой эры появилось предчувствие беды.
Множество инсайдеров из индустрии ИИ выступили после Дня труда с заявлениями о том, что они считают экзистенциальной угрозой для человечества гонку отрасли по созданию систем, способных без человеческого контроля создавать более совершенные версии самих себя — техника, известная как «рекурсивное самосовершенствование» (RSI). При этом никто точно не знает, как такой будущий сверхразумный ИИ может уничтожить человечество, хотя предложено множество мрачных гипотетических сценариев.
Со стороны может показаться, что эти предсказания стали для индустрии ИИ моментом прозрения, будто технология внезапно преодолела критический порог возможностей, и те, кто её разрабатывал — а до этого считал, что занимается чем-то совершенно безобидным — внезапно очнулись и осознали: «Боже мой, что мы наделали?» Но то, что эти апокалиптические предсказания доминируют в заголовках последние две недели, не означает, что они являются новым явлением. На самом деле, они уходят корнями в самое начало современной индустрии ИИ (и даже глубже), глубоко формируя её идеологическую основу.
В основе этих идей лежат два опасных постулата: (1) Приход сверхразумных систем ИИ — историческая неизбежность, неотвратимый и совершенно естественный следующий шаг в эволюции жизни на Земле, и (2) такие системы, обладая огромной мощью, смогут не только избавить человечество от некоторых из его самых сложных проблем, но и потенциально уничтожить нас.
Сэм Альтман
«Я думаю, ИИ, скорее всего, приведет к концу света».
Это заявление было сделано на сцене во время технологической конференции в июне 2015 года, примерно за шесть месяцев до того, как Альтман, бросивший Стэнфордский университет по специальности «компьютерные науки», стал соучредителем OpenAI. Но не волнуйтесь, он добавляет оговорку: «но тем временем будут созданы великие компании с серьезным машинным обучением». (Стало легче?) В 2023 году OpenAI написала в блоге, что сверхразум может быть «очень опасен» и «привести к лишению человечества власти или даже к его вымиранию».
Илон Маск
«С помощью искусственного интеллекта мы призываем демона».
В 2014 году, за девять лет до того, как Маск основал свою собственную ИИ-компанию xAI для конкуренции с OpenAI, Anthropic и Google, он уже сравнивал стремление Кремниевой долины к искусственному интеллекту с вызовом злой силы, которую человечество не могло ни понять, ни контролировать. Это предупреждение предвосхитило многие из аргументов, которые вновь всплывают сегодня: что разработка ИИ идет быстрее, чем наша способность обеспечить соответствие этих систем интересам и ценностям человека.
Дарио Амодеи
ИИ «может представлять собой некоторую угрозу для человечества».
Амодеи, ранее занимавший пост вице-президента по исследованиям в OpenAI, покинул компанию в декабре 2020 года, чтобы вместе с сестрой Даниэлой основать Anthropic. Они позиционировали компанию как голос ответственности и безопасности в индустрии, которая, по их мнению, безрассудно ставила рыночное доминирование выше согласованности действий. Эта цитата, произнесенная весной 2022 года во время интервью Институту будущего жизни (чуть более чем через год после основания Anthropic), дает представление о его взглядах того времени.
Он признал, что будущие системы ИИ могли теоретически представлять экзистенциальную угрозу человечеству — «в долгосрочной перспективе, — продолжил он, — этот аргумент кажется нам по крайней мере потенциально обоснованным» — и с тех пор позиционировал Anthropic как единственную компанию, которой можно доверять безопасное внедрение сверхразума. Совсем недавно он заявил, что шансы на то, что ИИ «очень катастрофически выйдет из-под контроля», составляют от 10% до 25%. Важно помнить, однако, что эти цифры, обычно называемые «p(doom)» (сокращение от «вероятность гибели»), являются исключительно личными догадками и не основаны на каком-либо объективном расчете.
Ларри Пейдж
«Цифровая жизнь — естественный и желательный следующий шаг» в «космической эволюции».
В 2014 году Google приобрел пионера в области ИИ DeepMind примерно за 650 миллионов долларов. В 2015 году соучредитель и бывший генеральный директор Google Ларри Пейдж высказал приведенную выше цитату профессору Массачусетского технологического института Максу Тегмарку во время спора на вечеринке. Замечание Пейджа уводит нас в довольно трансгуманистическую область, но намекает на глубокий идеологический подтекст, пронизывающий современную технологическую индустрию. А именно, что человечеству вскоре придется уступить дорогу своим машинным преемникам, и что эта эволюционная передача эстафеты является как «естественной», так и «желательной».
Это отголосок той же философии, которую высказывал пионер робототехники Ханс Моравец, который в 1999 году, за год до основания Google, писал, что машины в конечном итоге могут «вытеснить [человечество] из существования», и что нам было бы мудро «предоставить им все преимущества и уйти, когда мы больше не сможем вносить вклад».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Webb Wright
