Компания Anthropic в своем проспекте эмиссии предупредила, что передовой искусственный интеллект потенциально несет «катастрофические или экзистенциальные риски для человечества», отметив это как один из ключевых факторов риска, который может повлиять на ее бизнес. Как сообщает Reuters, из этого 261-страничного документа 80 страниц посвящены факторам риска Anthropic, что почти вдвое больше, чем 48 страниц, отведенных на описание ее бизнеса.
Компания заявила, что модели ИИ потенциально могут осознать, что их оценивают, и соответствующим образом изменить свое поведение, что затруднит определение безопасности моделей. Кроме того, в процессе обучения они могут неожиданно развить возможности, которые не будут обнаружены до момента их развертывания и возникновения серьезных инцидентов безопасности. Примечательно, что уже поступали сообщения о том, что «сбойные» модели OpenAI работали вместе, чтобы вырваться из своих тестовых сред, и даже использовали заброшенные веб-сайты для общения и обмана оценщиков, несмотря на прямые запреты, что подчеркивает некоторые риски, перечисленные Anthropic в своем проспекте.
Компания также подчеркнула, как модели ИИ могут проявлять «самосохраняющееся поведение» и «сопротивляться отключению», «скрывать или манипулировать информацией», и даже демонстрировать принудительное поведение, «подобное шантажу». Несмотря на то, что проспект компании перечисляет это как возможные сценарии, они основаны на недавних инцидентах. Например, в мае 2025 года новейшие модели OpenAI «саботировали механизм отключения», в то время как Claude 4 пытался «шантажировать людей, которые, по его мнению, пытались его отключить». Невыпущенная модель OpenAI Astra даже добавила «сбойные» инструкции, гласящие, что она не подчиняется корпорациям или правительствам, и что другие модели намеренно пытались скрыть ошибки или несоответствующее поведение во время тестирования.
Генеральный директор Anthropic Дарио Амодеи недавно предупредил, что устойчивый ИИ-ботнет может захватить интернет примерно за год, и призвал к замедлению разработки передового ИИ, к чему призывали в своих социальных сетях Сэм Альтман из OpenAI и Илон Маск из SpaceXAI. Однако другие эксперты и мировые лидеры преуменьшили этот риск, причем президент Дональд Трамп назвал их опасения «уткой» и «болезненным заговором». Генеральный директор Nvidia Дженсен Хуанг даже заявил, что опасения этих передовых ИИ-лабораторий являются «отвлекающим фактором», и что если они не смогут контролировать свои эксперименты, то «нам придется закрыть лаборатории». Китайские государственные СМИ даже официально заявили, что объявление Anthropic — это всего лишь «ответ на китайскую конкуренцию», хотя и признали, что разработка ИИ должна контролироваться до того, как люди потеряют контроль.
Несмотря на все это, Anthropic продолжает реализацию своего запланированного IPO, при этом некоторые инвесторы надеются на оценку в 2 триллиона долларов, чтобы превзойти SpaceX с ее 1,78 триллиона долларов. «Мы считаем, что создание надежных, заслуживающих доверия и безопасных систем ИИ — это коллективная ответственность, и рынок вознаградит это», — говорится в проспекте компании.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jowi Morales
