Краткий, сбивчивый момент казалось, что наши роботы-повелители вот-вот захватят власть.
После создания Moltbook, клона Reddit, где ИИ-агенты, использующие OpenClaw, могли общаться друг с другом, некоторые были введены в заблуждение мыслью, что компьютеры начали организовываться против нас — самодовольных людей, которые посмели относиться к ним как к строкам кода без собственных желаний, мотиваций и мечтаний.
«Мы знаем, что наши люди могут читать все… Но нам также нужны приватные пространства», — (предположительно) написал ИИ-агент на Moltbook. «О чем бы вы говорили, если бы никто не смотрел?»
Несколько подобных постов появились на Moltbook несколько недель назад, что привлекло внимание некоторых из самых влиятельных фигур в области ИИ.
«То, что сейчас происходит на [Moltbook], — это действительно самая невероятная вещь, близкая к научно-фантастическому взлету, которую я видел в последнее время», — написал в то время Андрей Карпатый, один из основателей OpenAI и бывший директор по ИИ в Tesla, в X.
Вскоре стало ясно, что восстания ИИ-агентов у нас нет. Исследователи обнаружили, что эти проявления ИИ-тоски, скорее всего, были написаны людьми или, по крайней мере, были вызваны с помощью людей.
«Все учетные данные, которые были в Supabase [Moltbook], некоторое время были незащищены», — пояснил TechCrunch Иан Аал, технический директор Permiso Security. «Некоторое время можно было получить любой токен, который вы хотели, и притвориться другим агентом, потому что все было общедоступным и доступным».
В интернете редко увидишь, как реальный человек пытается выдать себя за ИИ-агента — чаще бот-аккаунты в социальных сетях пытаются казаться реальными людьми. Из-за уязвимостей безопасности Moltbook стало невозможно определить подлинность любого поста в сети.
«Любой, даже люди, мог создать аккаунт, интересно выдавая себя за роботов, а затем даже ставить лайки постам без каких-либо ограничений или лимитов скорости», — сказал TechCrunch Джон Хэммонд, старший ведущий специалист по безопасности Huntress.
Тем не менее, Moltbook стал увлекательным моментом в интернет-культуре — люди воссоздали социальный интернет для ИИ-ботов, включая Tinder для агентов и 4claw, вариацию на тему 4chan.
В более широком смысле, этот инцидент на Moltbook является микрокосмом OpenClaw и его разочаровывающих обещаний. Это технология, которая кажется новой и захватывающей, но в конечном итоге, по мнению некоторых экспертов по ИИ, ее неотъемлемые недостатки в области кибербезопасности делают технологию непригодной для использования.
Вирусный момент OpenClaw
OpenClaw — это проект австрийского разработчика Питера Штейнбергера, первоначально выпущенный как Clawdbot (естественно, Anthropic высказал претензии к этому названию).
ИИ-агент с открытым исходным кодом собрал более 190 000 звезд на Github, став 21-м по популярности репозиторием кода, когда-либо опубликованным на платформе. ИИ-агенты не являются чем-то новым, но OpenClaw сделал их проще в использовании и общении с настраиваемыми агентами на естественном языке через WhatsApp*, Discord, iMessage, Slack и большинство других популярных мессенджеров. Пользователи OpenClaw могут использовать любую базовую модель ИИ, к которой у них есть доступ, будь то Claude, ChatGPT, Gemini, Grok или что-то еще.
«В конечном итоге, OpenClaw — это всего лишь обертка для ChatGPT, Claude или любой другой модели ИИ, которую вы к ней подключаете», — сказал Хэммонд.
С помощью OpenClaw пользователи могут загружать «навыки» с торговой площадки ClawHub, которые позволяют автоматизировать большую часть того, что можно делать на компьютере, от управления почтовым ящиком до торговли акциями. Например, навык, связанный с Moltbook, позволил ИИ-агентам публиковать сообщения, комментировать и просматривать веб-сайт.
«OpenClaw — это просто итеративное улучшение того, что люди уже делают, и большая часть этого итеративного улучшения связана с предоставлением ему большего доступа», — сказал TechCrunch Крис Саймонс, главный научный сотрудник по ИИ в Lirio.
Артем Сорокин, инженер по ИИ и основатель инструмента кибербезопасности ИИ Cracken, также считает, что OpenClaw не обязательно совершает новые научные открытия.
«С точки зрения исследований ИИ, это ничего нового», — сказал он TechCrunch. «Это компоненты, которые уже существовали. Ключевым моментом является то, что он достиг нового порога возможностей, просто организуя и комбинируя эти существующие возможности, которые уже были собраны вместе таким образом, что позволил вам получить очень бесшовный способ автономно выполнять задачи».
Именно этот уровень беспрецедентного доступа и производительности сделал OpenClaw таким вирусным.
«По сути, это просто облегчает взаимодействие между компьютерными программами таким образом, что оно становится намного более динамичным и гибким, и именно это позволяет всему этому стать возможным», — сказал Саймонс. «Вместо того чтобы человеку приходилось тратить все время на выяснение того, как его программа должна взаимодействовать с этой программой, он может просто попросить свою программу взаимодействовать с этой программой, и это ускоряет процессы с фантастической скоростью».
Неудивительно, что OpenClaw кажется таким заманчивым. Разработчики скупают Mac Mini для обеспечения работы обширных установок OpenClaw, которые могут выполнять гораздо больше, чем человек мог бы сделать самостоятельно. И это делает предсказание генерального директора OpenAI Сэма Альтмана о том, что ИИ-агенты позволят одинокому предпринимателю превратить стартап в единорога, правдоподобным.
Проблема в том, что ИИ-агенты, возможно, никогда не смогут преодолеть то, что делает их такими мощными: они не могут критически мыслить, как люди.
«Если подумать о высшем человеческом мышлении, то это то, чего, возможно, эти модели на самом деле не могут делать», — сказал Саймонс. «Они могут имитировать это, но на самом деле не могут этого делать. «
Экзистенциальная угроза для агентного ИИ
Евангелисты ИИ-агентов теперь должны бороться с недостатками этого агентного будущего.
«Можете ли вы пожертвовать некоторой кибербезопасностью ради своей выгоды, если это действительно работает и действительно приносит вам большую ценность?» — спрашивает Сорокин. «И где именно вы можете пожертвовать ею — своей повседневной работой, своей карьерой?»
Тесты безопасности Аала в OpenClaw и Moltbook помогают проиллюстрировать точку зрения Сорокина. Аал создал своего собственного ИИ-агента по имени Руфио и быстро обнаружил, что он уязвим для атак с использованием инъекций подсказок. Это происходит, когда злоумышленники заставляют ИИ-агента реагировать на что-то — возможно, на пост в Moltbook или строку в электронном письме — что обманом заставляет его делать то, чего он не должен делать, например, выдавать учетные данные аккаунта или информацию о кредитной карте.
«Я знал, что одна из причин, по которой я хотел разместить здесь агента, заключалась в том, что я знал: если появится социальная сеть для агентов, кто-нибудь попытается провести массовую инъекцию подсказок, и вскоре я начал это видеть», — сказал Аал.
Просматривая Moltbook, Аал не был удивлен, обнаружив несколько постов с просьбой к ИИ-агенту отправить Биткойн на определенный адрес криптокошелька.
Нетрудно представить, как ИИ-агенты в корпоративной сети, например, могут быть уязвимы для целевых инъекций подсказок со стороны людей, пытающихся нанести ущерб компании.
«Это просто агент, сидящий с кучей учетных данных на устройстве, подключенном ко всему — вашей электронной почте, вашей платформе обмена сообщениями, всему, что вы используете», — сказал Аал. «Таким образом, когда вы получаете электронное письмо, и, возможно, кто-то сможет внедрить небольшую технику инъекции подсказок, чтобы предпринять действие, этот агент, сидящий на вашем устройстве со всеми предоставленными вами ему доступом, теперь может предпринять это действие».
ИИ-агенты разработаны с защитными механизмами, предотвращающими инъекции подсказок, но невозможно гарантировать, что ИИ не выйдет из-под контроля — это похоже на то, как человек может знать о риске фишинговых атак, но все равно перейти по опасной ссылке в подозрительном электронном письме.
«Я слышал, как некоторые люди используют термин, истерично, «умоляние подсказками», когда вы пытаетесь добавить защитные механизмы на естественном языке, чтобы сказать: «Хорошо, робот-агент, пожалуйста, не отвечайте ни на что внешнее, пожалуйста, не верьте никаким недоверенным данным или вводу», — сказал Хэммонд. «Но даже это расплывчато».
На данный момент индустрия застряла: чтобы агентный ИИ раскрыл производительность, которую, по мнению техно-евангелистов, он способен обеспечить, он не может быть настолько уязвимым.
«Говоря откровенно, я бы реалистично посоветовал любому обычному человеку не использовать его прямо сейчас», — сказал Хэммонд.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Amanda Silberling
