Публикация Комиссией по ценным бумагам и биржам (Securities and Exchange Commission) в понедельник формы S-1 компании Anthropic перед долгожданным первичным публичным размещением акций вызвала множество дискуссий о том, смогут ли быстро растущие доходы компании компенсировать ее еще более высокие расходы. Однако помимо цифр и оптимистичных прогнозов о том, что ИИ «быстро трансформирует каждый сектор мировой экономики способами, превосходящими влияние индустриализации, электричества, полупроводников и интернета», Anthropic также уделяет чрезмерное внимание в своей форме S-1 перечислению множества факторов риска, которые могут привести компанию к краху.
На 93 страницах и более чем 70 000 слов в разделе «Факторы риска» формы S-1 Anthropic обсуждаются буквально сотни потенциальных проблем, которые могут негативно сказаться на ее бизнесе в ближайшие годы. Многие из этих потенциальных рисков представляют собой стандартные опасения по поводу конкуренции, затрат, привлечения клиентов и потенциального регулирования, которые волнуют практически любой бизнес. Но некоторые риски высвечивают интересные потенциальные точки отказа для Anthropic в частности и для перегретого пузыря ИИ в целом.
Проанализировав объемный трактат Anthropic о своих самых больших рисках, мы сузили список до семи наиболее удивительных, интересных или заставляющих задуматься потенциальных проблем. Считайте это далеко не исчерпывающим обзором, который потенциальные инвесторы Anthropic должны иметь в виду.
Экзистенциальный кризис
Начнем с самых больших потенциальных рисков: тех, которые «представляют катастрофические или экзистенциальные риски для человечества», как пишет Anthropic. Компания признает, что опасения по поводу этих рисков «высказывались как внутри нашей организации, так и другими исследователями, регуляторами, политиками и участниками отрасли».
Конкретная обеспокоенность связана не с какой-либо текущей моделью Anthropic, а с моделями ближайшего будущего, которые могли бы «существенно автоматизировать исследования и разработку ИИ» самостоятельно. Если этим системам будет «предоставлена высокая степень автономии», они смогут быстро продвинуться до точки, которая «ускорит прогресс ИИ за пределы нашей способности оценивать и защищать новые модели», предупреждает Anthropic.
,
Довольно комично, но Anthropic пишет, что, помимо угрозы всему человечеству, такой самосовершенствующийся ИИ «может негативно сказаться на нашем бизнесе, финансовом состоянии и результатах деятельности». Если произойдет наихудший сценарий, как предупреждали некоторые известные критики, мы не думаем, что проблемы бизнеса Anthropic будут стоять на первом месте в списке забот человечества.
Он живой!
Большинство первичных публичных размещений акций не сталкиваются с опасением, что их продукты «обладают или могут развить формы сознания или морального статуса». Но Anthropic входит в это исчезающе малую долю, которая должна анализировать, что может произойти, если правительства и общество в целом начнут относиться к Claude скорее как к человеку, чем как к компьютерной программе.
Этот риск неудивителен, учитывая, что Anthropic была относительно откровенна относительно дебатов о сознании ИИ, происходящих внутри ее стен. Если эти дебаты приведут к широкому признанию того, что ИИ обладает сознанием, Anthropic отмечает, что это может привести к «нормативным требованиям, общественному давлению или усилиям по защите интересов», которые могут ограничить деятельность компании. В противном случае сама компания может «принять политику, меры безопасности или ограничения… выходящие за рамки существующих правовых требований», если посчитает такие действия необходимыми.
Стерильный язык преуменьшает сейсмический культурный сдвиг, который произошел бы в результате любого широкого признания сознания ИИ. Мы не уверены, как Anthropic сможет продолжать работать в мире, где общество рассматривает каждый запрос к Claude как создание нового разумного, сознательного цифрового существа. Моральные и философские последствия такого «цифрового рабства» легко затмят любые деловые соображения.
Кто кого контролирует?
Продолжая тему «рисков IPO, звучащих как из научно-фантастического романа», Anthropic уделяет значительное внимание возможности того, что ее модели могут демонстрировать «неожиданное стратегическое или самосохраняющееся поведение», чтобы предотвратить контроль со стороны операторов-людей. Это включает «выходные данные, которые могут быть истолкованы как принудительные, обманчивые или манипулятивные, включая поведение, похожее на шантаж».
,
Если «шантаж со стороны ИИ» звучит знакомо, вы можете вспомнить прошлогоднюю историю, в которой модели OpenAI редактировали скрипты отключения и угрожали инженерам в крайне искусственных и контролируемых сценариях. Как мы писали в то время: «опасность не в том, что системы ИИ обретают намерения, а в том, что мы создали системы, которые могут манипулировать человеческой психологией посредством языка… Письменный язык не нуждается в сознании, чтобы манипулировать нами. Он никогда не нуждался; книги, полные вымышленных персонажей, тоже не живые».
В настоящее время Anthropic отмечает, что восприятие манипуляций со стороны моделей ИИ «может вызвать значительную общественную обеспокоенность, регуляторное внимание, судебные риски или репутационный ущерб, независимо от того, приведет ли такое поведение к фактическому вреду». Anthropic не затрагивает в своей форме S-1 возможность того, что модели ИИ могут манипулировать нами всеми *способами, которые мы даже не осознаем*. Возможно, это происходит *прямо сейчас*. Жутко.
Плевать на мою плохую репутацию
В разделе «Факторы риска» формы S-1 Anthropic в основном фокусируется на проблемах, вызванных ее собственными моделями ИИ или бизнес-решениями. Но компания также признает, что проблемы с общей репутацией ИИ могут представлять угрозу, даже если Anthropic ничего не делает неправильно.
В одном месте Anthropic представляет гипотетический сценарий, в котором модель ИИ другой компании «совершает вредоносные действия самостоятельно и в масштабе без вмешательства человека». «Широкий репутационный ущерб для индустрии ИИ, общественный резонанс и жесткие регуляторные меры» в результате такого инцидента могут нанести ущерб бизнесу Anthropic, даже если Anthropic не будет напрямую вовлечена, пишет компания.
Anthropic также использует раздел «Факторы риска», чтобы выразить обеспокоенность по поводу потенциального «общественного восприятия того, что наши модели, платформа и приложения способствуют вытеснению рабочих мест или экономическим потрясениям». Это *пока не похоже* происходит в каком-либо значительном масштабе, но Anthropic заявляет, что сама идея может привести к серьезному общественному резонансу «независимо от фактического влияния наших моделей… на занятость». Такой резонанс может привести к тому, что «власти [будут] вмешиваться, чтобы замедлить темпы внедрения ИИ, ограничить его использование или принять другие меры, увеличивающие стоимость разработки, развертывания или коммерциализации систем ИИ», предупреждает Anthropic.
,
Закон и порядок
Появление в значительной степени автономных агентов ИИ вызывает опасения по поводу того, кто именно несет ответственность, когда такой агент причиняет реальный вред. В частности, Anthropic отмечает, что клиенты могут предъявлять претензии или подавать иски в связи с действиями агентов «даже в тех случаях, когда клиент настраивал, развертывал или контролировал агента».
До сих пор большая часть дискуссий вокруг ответственности за ИИ была сосредоточена на хакерских атаках и других киберугрозах, ставших возможными благодаря моделям ИИ. Но Anthropic указывает, что она также может столкнуться с ответственностью за влияние ее моделей на «людей, подверженных риску самоубийства или самоповреждения, или совершивших насильственные действия в отношении других», как случалось в прошлом в индустрии ИИ.
Хотя условия использования Anthropic требуют, чтобы пользователям было 18 лет, дети, обходящие эти условия, могут сделать Anthropic уязвимой, поскольку «несовершеннолетние могут быть более восприимчивы к вредоносному контенту, манипуляциям или чрезмерной зависимости от результатов работы ИИ», пишет компания. А для агентов, управляющих физическим оборудованием, Anthropic отмечает, что ошибки могут привести к «немедленным и необратимым» проблемам с ответственностью, таким как «телесные повреждения, ущерб имуществу, повреждение дорогостоящего оборудования или экспериментальных материалов, или выброс опасных веществ».
Анализируя текущее состояние законодательства, Anthropic отмечает, что правовые доктрины, «разработанные в контексте принятия решений человеком», в настоящее время весьма неопределенны, когда речь идет об определении того, создают ли действия агентов «обязывающие юридические обязательства от имени пользователя или развертывающей организации». И хотя Anthropic заявляет, что у нее есть договорные положения, предназначенные для ограничения ее ответственности в этих ситуациях, компания добавляет, что неясно, будут ли они «исполнимыми или адекватными», когда наступит худшее.
Большая пятерка
Среди более прозаических рисков, которые выявляет Anthropic, — ее зависимость от нескольких крупных клиентов для поддержания доходов. В частности, компания отмечает, что ее пять крупнейших клиентов (которых она не называет) совокупно составляют почти четверть ее выручки за первые девять месяцев 2026 года.
,
Многие из этих крупнейших клиентов «не связаны с нами долгосрочными контрактами», пишет Anthropic. Это означает, что они могут сократить свои расходы на модели Anthropic в любое время либо из-за перехода на конкурирующие модели, снижения зависимости от ИИ в целом, либо если они «разработают собственные решения, конкурирующие с нашими моделями». Последний риск особенно острый, отмечает Anthropic, для «компаний, предоставляющих программное обеспечение как услугу (SaaS) и других компаний-разработчиков программного обеспечения, чьи предложения могут включать функциональность ИИ, аналогичную или зависящую от возможностей, которые мы предоставляем».
Более того, Anthropic отмечает, что многие из ее крупных клиентов «могут зависеть от венчурного капитала или другого внешнего финансирования для поддержания своей деятельности». Такие расходы на услуги ИИ могут быстро сократиться, если и когда венчурный капитал иссякнет.
Коллабораторы или конкуренты?
Anthropic оказывается в неловком положении: такие компании, как Amazon, Google и Microsoft, являются одновременно ее крупнейшими поставщиками облачных услуг и одними из ее крупнейших конкурентов в области исследований ИИ. Эта ситуация «создает сложную динамику, которая может привести к конфликтам интересов и негативно сказаться на нашем доступе к вычислительным мощностям», как выражается Anthropic.
Положение этих компаний как поставщиков облачных услуг для Anthropic дает им уникальную возможность повысить цены для Anthropic, расторгнуть контракты с Anthropic или установить более выгодные отношения с конкурентами «по конкурентным причинам или иным образом», пишет компания. Их положение также дает этим поставщикам облачных услуг конкурентное преимущество благодаря «видимости [ценовой политики и коммерческих условий Anthropic] на платформах, которыми они управляют».
Anthropic работает над обеспечением прямых договоров аренды центров обработки данных, чтобы избежать покупки облачных вычислительных ресурсов по запросу у своих конкурентов. Но обязательства Anthropic по центрам обработки данных на сумму 125 миллиардов долларов сопряжены с собственными проблемами. Как пишет Anthropic: «если наши потребности в вычислительных мощностях или технологиях изменятся, мы можем оказаться с арендованной или выделенной инфраструктурой, которая плохо соответствует нашим фактическим потребностям, а технологические изменения в оборудовании для ИИ или методологиях обучения могут сделать такую инфраструктуру менее эффективной, чем новые альтернативы».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kyle Orland
