Дарио Амодей поделился своими размышлениями об искусственном интеллекте. Собственно, на 38 страницах. Основатель Anthropic, создателей Claude, в понедельник опубликовал обширное эссе под названием «Юность технологий», в котором он обсуждает, как он видит огромный потенциал опасностей, которые достижение уровня суперинтеллекта может нести для мира.
К слову, его компания продолжит разработку ИИ.
Амодей, который время от времени публикует такие эссе, предполагает, что человечество стоит на пороге новой эры. «Я считаю, что мы вступаем в обряд перехода, одновременно бурное и неизбежное событие, которое проверит нас как вид». Если что-то пойдет не так, это может стать и нашей последней эрой. «Человечеству вот-вот будет вручена почти невообразимая мощь, и совершенно неясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы ею распоряжаться», — написал Амодей, добавив позже, что «авторитаризм, усиленный ИИ, повергает меня в ужас».
Кстати, Anthropic предлагала Claude федеральному правительству администрации Трампа всего за $1 в год.
Стоит отдать должное Амодею: он обладает живым воображением, которое он демонстрирует на протяжении всего эссе. Он вспоминает случай, когда религиозное движение «Аум Синрике» распылило зарин в токийском метро в 1995 году, что привело к 14 смертям и множеству раненых. Затем он предположил, что наличие «гения в кармане у каждого» устранит барьер для совершения такой атаки или даже более смертоносных.
«Встревоженный одиночка, желающий убивать людей, но которому не хватает дисциплины или навыков, чтобы это сделать, теперь будет поднят до уровня возможностей вирусолога с докторской степенью, у которого, скорее всего, нет такой мотивации», — писал он. «Я обеспокоен тем, что таких людей потенциально много, и если у них будет легкий способ убить миллионы людей, рано или поздно кто-то из них это сделает».
Кстати, знаете ли вы, что одной из оценок, которую Anthropic опубликовала в отчете «System card» для Claude Opus 4.5, был тест, в котором модель должна была помочь вирусологам реконструировать сложный вирус?
Амодей, что вполне понятно, впечатлен темпами улучшения ИИ за последние годы, но предупреждает, что если темпы сохранятся, то до создания суперинтеллекта — термина, который люди вроде Амодея раньше называли сильным искусственным интеллектом (AGI), но с тех пор от которого отошли — осталось недолго. «Если экспонента сохранится — что не является гарантией, но имеет десятилетний подтвержденный опыт, — то, по всей видимости, пройдет всего несколько лет, прежде чем ИИ превзойдет человека практически во всем», — написал он.
Что это будет означать на практике? Амодей приводит аналогию: «Представьте, что где-то в мире примерно в 2027 году материализуется буквальная „страна гениев“. Представьте, скажем, 50 миллионов человек, каждый из которых намного способнее любого нобелевского лауреата, государственного деятеля или технолога», — написал он. «Представьте, что вы советник по национальной безопасности крупного государства, ответственный за оценку ситуации и реагирование на нее. Представьте дальше, что поскольку системы ИИ могут работать в сотни раз быстрее людей, эта „страна“ получает временное преимущество перед всеми остальными: на каждое когнитивное действие, которое мы можем предпринять, эта страна может совершить десять».
Исходя из этой модели, генеральный директор Anthropic считает, что стоит задуматься о наших главных опасениях. Амодей высказал свои соображения, включая «риски автономии», «неправомерное использование для уничтожения» и «неправомерное использование для захвата власти», и в итоге пришел к выводу, что отчет по этой стране расценил бы ее как «самую серьезную угрозу национальной безопасности, с которой мы сталкивались за столетие, возможно, за всю историю».
Напоминание: Anthropic как раз и строит ту самую «страну» из аналогии.
Anthropic, в большей степени, чем любая другая ИИ-компания, проактивно выявляет риски, связанные с развитием ИИ, и выступает за дополнительный регуляторный контроль и защиту потребителей (считаете ли вы это законным или формой регуляторного захвата — дело вкуса, но по крайней мере компания демонстрирует благие намерения). Однако она продолжает создавать машину, которая, по ее собственным предупреждениям, может привести к неминуемой гибели. Не обязательно создавать машину рока! И, откровенно говоря, продолжение ее разработки подрывает серьезность, с которой следует воспринимать предупреждения о существовании экзистенциальных угроз.
Если существует реальная обеспокоенность тем, что человечество может оказаться недостаточно зрелым для управления ИИ, возможно, не стоит делать его общедоступным с минимальными барьерами для входа, а затем хвастаться количеством активных пользователей в месяц.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – AJ Dellinger
