Это была ошеломляющая ситуация. Anthropic теперь рискует потерять контракт на сумму до 200 миллионов долларов, а также ей будет запрещено работать с другими оборонными подрядчиками, после того как президент Трамп опубликовал в Truth Social директиву всем федеральным агентствам «немедленно прекратить любое использование технологий Anthropic». (С тех пор Anthropic заявила, что оспорит решение Пентагона в суде, назвав обозначение риска для цепочки поставок юридически необоснованным и «никогда ранее публично не применявшееся к американской компании».)
Макс Тегмарк провел лучшую часть десятилетия, предупреждая, что гонка по созданию все более мощных систем ИИ опережает способность мира ими управлять. Физик шведско-американского происхождения и профессор Массачусетского технологического института (MIT) основал Институт будущего жизни (Future of Life Institute) в 2014 году. В 2023 году он прославился тем, что помог организовать открытое письмо — в конечном итоге подписанное более чем 33 000 человек, включая Илона Маска, — с призывом приостановить разработку передового ИИ.
Его взгляд на кризис Anthropic бескомпромиссен: компания, как и ее конкуренты, сама посеяла семена своей нынешней беды. Аргумент Тегмарка начинается не с Пентагона, а с решения, принятого много лет назад, — решения, общего для всей отрасли, — сопротивляться обязывающему регулированию. Anthropic, OpenAI, Google DeepMind и другие давно обещали ответственно управлять собой. Ранее на этой неделе Anthropic даже отказалась от центрального принципа своего обязательства по безопасности — обещания не выпускать все более мощные системы ИИ до тех пор, пока компания не будет уверена, что они не причинят вреда.
Теперь, в отсутствие правил, этим игрокам мало что может их защитить, говорит Тегмарк. Вот еще несколько цитат из этого интервью, отредактированных для краткости и ясности. Полную беседу вы сможете прослушать на следующей неделе в подкасте TechCrunch StrictlyVC Download.
Когда вы увидели эту новость об Anthropic, какой была ваша первая реакция?
Благими намерениями вымощена дорога в ад. Так интересно вспоминать, как десять лет назад люди были в восторге от того, как мы собираемся создавать искусственный интеллект для лечения рака, для процветания Америки и укрепления ее мощи. А теперь мы видим, что правительство США сердится на эту компанию за то, что она не хочет, чтобы ИИ использовался для внутреннего массового наблюдения за американцами, а также не хочет иметь «убийц-роботов», которые могут автономно — без какого-либо участия человека — решать, кто будет убит.
Anthropic сделала своей главной идентичностью компанию, ориентированную на безопасность ИИ, и все же она сотрудничала с оборонными и разведывательными ведомствами [по крайней мере, с 2024 года]. Считаете ли вы это противоречивым?
Это противоречиво. Если позволите мне немного цинично взглянуть на это — да, Anthropic очень хорошо себя рекламировала как компанию, полностью посвященную безопасности. Но если посмотреть на факты, а не на заявления, то увидим, что Anthropic, OpenAI, Google DeepMind и xAI много говорили о том, как они заботятся о безопасности. Никто из них не выступил в поддержку обязывающего регулирования безопасности, как это принято в других отраслях. И все четыре компании нарушили свои собственные обещания. Сначала у Google был этот большой лозунг: «Не будь злым» (Don’t be evil). Затем они отказались от него. Затем они отказались от другого, более длительного обязательства, которое по сути гласило, что они обещают не причинять вреда с помощью ИИ. Они отказались от него, чтобы продавать ИИ для слежки и оружия. OpenAI просто убрала слово «безопасность» из своей миссии. xAI закрыла всю свою команду по безопасности. И теперь Anthropic, ранее на этой неделе, отказалась от своего самого важного обязательства по безопасности — обещания не выпускать мощные системы ИИ до тех пор, пока не будет уверена, что они не причинят вреда.
Как компании, которые давали столь громкие обещания о безопасности, оказались в такой ситуации?
Все эти компании, особенно OpenAI и Google DeepMind, но в некоторой степени и Anthropic, настойчиво лоббировали против регулирования ИИ, говоря: «Просто доверьтесь нам, мы будем регулировать себя сами». И они успешно лоббировали. В результате сейчас в Америке регулирование систем ИИ слабее, чем регулирование сэндвичей. Знаете, если вы хотите открыть сэндвичную, и инспектор по санитарному надзору обнаружит 15 крыс на кухне, он не позволит вам продавать сэндвичи, пока вы не исправите ситуацию. Но если вы скажете: «Не волнуйтесь, я не буду продавать сэндвичи, я буду продавать ИИ-подружек для 11-летних, которые ранее были связаны с самоубийствами, а затем я выпущу нечто под названием суперинтеллект, которое может свергнуть правительство США, но у меня хорошие предчувствия по поводу моего» — инспектор должен сказать: «Хорошо, продолжайте, только не продавайте сэндвичи».
Существует регулирование безопасности пищевых продуктов, но нет регулирования ИИ.
И я считаю, что во всем этом виноваты все эти компании. Потому что, если бы они взяли все те обещания, которые давали в прошлом о том, какими безопасными и добропорядочными они будут, собрались бы вместе, а затем пошли бы к правительству и сказали: «Пожалуйста, примите наши добровольные обязательства и превратите их в закон США, который будет обязателен даже для наших самых неряшливых конкурентов» — этого бы не произошло. Мы находимся в полной регуляторной пустоте. И мы знаем, что происходит, когда существует полная корпоративная амнистия: мы получаем < талидомид, мы получаем табачные компании, навязывающие сигареты детям, мы получаем асбест, вызывающий рак легких. Так что это своего рода ирония, что их собственное сопротивление законам, определяющим, что можно, а что нельзя делать с ИИ, теперь оборачивается против них.
В настоящее время нет закона, запрещающего создавать ИИ для убийства американцев, поэтому правительство может внезапно потребовать этого. Если бы сами компании раньше выступили и сказали: «Мы хотим этот закон», они бы не оказались в этой переделке. Они действительно выстрелили себе в ногу.
Контраргумент компаний всегда заключается в гонке с Китаем — если американские компании этого не сделают, это сделает Пекин. Имеет ли этот аргумент силу?
Давайте проанализируем это. Самый распространенный тезис лоббистов ИИ-компаний — теперь они лучше финансируются и многочисленнее, чем лоббисты ископаемого топлива, фармацевтики и военно-промышленного комплекса вместе взятых, — заключается в том, что всякий раз, когда кто-то предлагает какое-либо регулирование, они говорят: «Но Китай». Давайте посмотрим на это. Китай находится в процессе полного запрета ИИ-подружек. Не просто возрастные ограничения — они рассматривают возможность запрета всего антропоморфного ИИ. Почему? Не потому, что они хотят угодить Америке, а потому, что они считают, что это портит китайскую молодежь и ослабляет Китай. Очевидно, это ослабляет и американскую молодежь.
И когда люди говорят, что мы должны соревноваться в создании суперинтеллекта, чтобы победить Китай — при том, что мы на самом деле не знаем, как контролировать суперинтеллект, так что по умолчанию человечество потеряет контроль над Землей в пользу инопланетных машин, — угадайте что? Коммунистическая партия Китая очень любит контроль. Кто в здравом уме подумает, что Си Цзиньпин потерпит, что какая-нибудь китайская ИИ-компания создаст нечто, что свергнет китайское правительство? Ни за что. Это явно очень плохо и для правительства США, если оно будет свергнуто в результате переворота первой американской компанией, создавшей суперинтеллект. Это угроза национальной безопасности.
Это убедительная формулировка — суперинтеллект как угроза национальной безопасности, а не актив. Считаете ли вы, что эта точка зрения набирает обороты в Вашингтоне?
Я думаю, если люди из сообщества национальной безопасности послушают, как Дарио Амодеи описывает свое видение — он произнес знаменитую речь, в которой говорит, что скоро у нас будет < страна гениев в центре обработки данных, — они могут начать думать: подождите, Дарио только что использовал слово «страна»? Может быть, мне следует внести эту страну гениев в центре обработки данных в тот же список угроз, за которым я слежу, потому что это звучит угрожающе для правительства США. И я думаю, что довольно скоро достаточное количество людей в американском сообществе национальной безопасности поймут, что неконтролируемый суперинтеллект — это угроза, а не инструмент. Это полностью аналогично Холодной войне. Была гонка за доминированием — экономическим и военным — против Советского Союза. Мы, американцы, выиграли ту гонку, так и не вступив во вторую гонку, которая заключалась в том, кто сможет создать больше ядерных воронок на территории другой сверхдержавы. Люди поняли, что это просто самоубийство. Никто не выигрывает. Та же логика применима и здесь.
Что все это означает для темпов развития ИИ в более широком смысле? Насколько близки, по вашему мнению, мы к системам, которые вы описываете?
Шесть лет назад почти все эксперты по ИИ, которых я знал, предсказывали, что до ИИ, способного овладеть языком и знаниями на человеческом уровне, нам еще десятилетия — может быть, 2040, может быть, 2050 год. Они все ошибались, потому что мы уже имеем это сейчас. Мы видели, как прогресс ИИ довольно быстро шел от уровня старшей школы до уровня колледжа, до уровня аспирантуры, до уровня университетского профессора в некоторых областях. В прошлом году ИИ завоевал золотую медаль на Международной математической олимпиаде, что является одной из самых сложных человеческих задач. Я < написал статью вместе с < Йошуа Бенжио, < Дэном Хендрикс и другими ведущими исследователями ИИ всего несколько месяцев назад, где дается строгое определение AGI. Согласно этому определению, GPT-4 был на 27% пути к этому. GPT-5 был на 57% пути. Так что мы еще не достигли этого, но переход от 27% к 57% так быстро предполагает, что это может произойти не так нескоро.
Когда я вчера читал лекцию своим студентам в MIT, я сказал им, что даже если это займет четыре года, это означает, что к моменту их выпуска они, возможно, уже не смогут найти работу. Начинать готовиться к этому определенно не слишком рано.
Anthropic теперь в черном списке. Мне интересно посмотреть, что произойдет дальше — поддержат ли другие гиганты ИИ их и скажут ли, что они тоже этого не сделают? Или кто-то вроде xAI поднимет руку и скажет: Anthropic не хотела этот контракт, мы его возьмем?[Примечание редактора: Через несколько часов после интервью OpenAI объявила о < сделке с Пентагоном.]
Прошлой ночью Сэм Альтман вышел и сказал, что поддерживает Anthropic и у него те же «красные линии». Я восхищаюсь его смелостью это сказать. Google, на момент начала этого интервью, ничего не говорил. Если они просто промолчат, я думаю, это невероятно постыдно для них как для компании, и многие их сотрудники будут чувствовать то же самое. Мы также пока ничего не слышали от xAI. Так что будет интересно посмотреть. По сути, наступил момент, когда все должны показать свое истинное лицо.
Существует ли вариант, при котором исход окажется на самом деле хорошим?
Да, и именно поэтому я, как ни странно, настроен оптимистично. Здесь есть очевидная альтернатива. Если мы просто начнем относиться к ИИ-компаниям как к любым другим компаниям — отменим корпоративную амнистию — им, очевидно, придется провести что-то вроде клинического испытания, прежде чем выпускать нечто столь мощное, и продемонстрировать независимым экспертам, что они знают, как это контролировать. Тогда мы получим золотой век со всеми благами от ИИ, без экзистенциальной тревоги. Но мы не идем по этому пути сейчас. Однако могли бы.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Connie Loizos
