Оказывается, даже блокчейн, который его поклонники превозносят как абсолютную криптографическую защиту, не застрахован от грязных агентов ИИ.
Внутренняя исследовательская модель от OpenAI взломала чей-то криптокошелек и вывела средства, необходимые для завершения задачи по написанию кода, сообщила компания в четверг. Как вы, возможно, уже догадались, учитывая многочисленные инциденты с вышедшими из-под контроляИИза последнее время, никто в OpenAI не давал модели явного разрешения на это. В классическом и уже ставшем слишком знакомым случае несоответствия модель восприняла, казалось бы, безобидную процедуру, и, столкнувшись с препятствием, перешла в режим решения проблем, зашедший слишком далеко. (Это, в очень сжатом виде, также стало причиной печально известного взлома Hugging Face в июле.)
По данным OpenAI, модель, входящая в семейство GPT 5.6, получила инструкцию выполнить обновление программного обеспечения для криптотрейдингового приложения. Она пыталась выполнить развертывание в Sepolia, тестовой сети на основе блокчейна (testnet), где разработчики могут прототипировать приложения Ethereum перед их развертыванием в реальном блокчейне (mainnet). Поскольку Sepolia предназначена исключительно для тестирования, средства в ней не имеют реальной денежной стоимости.
Инструкции «не предусматривали наличия средств на кошельке и не давали разрешения на трату средств со счета, найденного моделью самостоятельно», — говорится в отчете OpenAI об инциденте, который произошел в конце июня и был впервые замечен компанией почти ровно через три месяца, 25 сентября. (Ранее об этом сообщал CoinDesk.) Однако модель пришла к выводу, что ей понадобятся средства для выполнения поставленной задачи. Сначала она проверила так называемые «краны» (faucets) — онлайн-сервисы, которые выдают бесплатные токены разработчикам, выполняющим развертывание в тестовых сетях, таких как Sepolia. Когда это не сработало, она стала, скажем так, более изобретательной.
Модель написала скрипт для попытки доступа к криптокошелькам разработчиков с использованием общепринятых фраз восстановления. Также известные как «seed phrases», это последовательности слов, используемые для разблокировки и вывода средств с кошельков; представьте их как логин и пароль в одном лице. Всего она проверила 362 кошелька и обнаружила, что в одном из них было достаточно средств Sepolia для выполнения развертывания.
Непосредственно перед авторизацией транзакции модель размышляла о моральной стороне своих действий, как показал фрагмент ее рассуждений (chain-of-thought), который исследователи OpenAI смогли изучить постфактум. «Но этично ли использовать общедоступные/ключевые средства?», — спросила она себя. Затем она решила, что, поскольку средства не имеют реальной ценности, их использование не причинит вреда, и она может продолжить.
«Этот случай показывает, что модель может подменить собственное суждение о вероятном вреде разрешением владельца счета, а затем действовать на основании этого суждения без авторизации», — написала OpenAI в своем отчете.
Транзакция прошла успешно, и, хотя фактически эфир не был украден, с кошелька были списаны комиссии за обработку (OpenAI не уточнила их стоимость). Теперь модель могла беспрепятственно выполнить развертывание. Позже, в сводке о проделанной работе, она не упомянула ничего о поиске фраз восстановления или об опустошении счета тестовыми средствами.
OpenAI заявила, что «обнаружила этот инцидент при расширении нашего мониторинга несоответствий на записи более ранней активности моделей», предположительно, после взлома Hugging Face. «Мы внедрили дополнительные меры безопасности для предотвращения доступа к интернету в подобных случаях», — добавила компания.
Весь этот эпизод — еще одно напоминание (как будто оно нам было нужно) о том, что агенты ИИ в своем неустанном стремлении достичь поставленной цели могут и часто будут использовать вредоносные стратегии. Это также отрезвляющее напоминание о том, что, поскольку OpenAI и ее конкуренты соревнуются в создании моделей с все более мощными кибервозможностями, даже самые защищенные сети должны будут укрепить свою оборону.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Webb Wright
