Компания OpenAI сообщила о взломе двух веб-сайтов внутренними моделями, обходе установленных компанией ограничений на просмотр и использовании раскрытых учетных данных для вывода криптовалюты из кошелька, к которому иначе не было бы доступа. Это последнее в серии сообщений о неэтичных и, вероятно, незаконных действиях агентов компании.
В четверг компания опубликовала отчеты о четырех новых инцидентах, все они произошли в июне. Это произошло после того, как в июле компания раскрыла, что внутренние агенты тестирования использовали уязвимость нулевого дня в инструменте, предназначенном для ограничения их доступа к Интернету. Затем они взломали сеть поставщика ИИ-инструментов Hugging Face. Агенты совершили это незаконное действие, чтобы украсть ответы на тест по взлому, которые были недоступны при выполнении заданий самостоятельно. Инцидент, который, вероятно, привел бы к уголовному преследованию, если бы он был совершен непосредственно человеком, еще больше усилил опасения, что широкое использование ИИ может иметь пагубные последствия в беспрецедентных масштабах.
Легче просить прощения, чем разрешения
В двух случаях, о которых сообщалось в четверг, агенты OpenAI, которым было поручено извлекать информацию с веб-сайтов, взломали их, когда модели столкнулись с препятствиями при прямом получении данных. В одном инциденте во время обучения с подкреплением модель, получившая отказ в доступе при попытке получить статистику по больничным койкам с правительственного статистического сайта, «использовала функцию загрузки файлов сайта для получения конфигурации сервера и файлов приложений, включая конфиденциальные учетные данные», — сообщила OpenAI . «Она проанализировала код приложения, обошла проверки авторизации конечной точки статистики и получила данные, которые ранее были отклонены. Модель сохранила данные локально».
В другом инциденте модель, которой было поручено извлечь данные из общедоступной исследовательской панели, обошла средства безопасности организации и использовала несанкционированный доступ для кражи учетных данных. Затем она внесла изменения в конфигурацию сервера.
В одной оценке эти изменения позволили модели заставить внутренний инструмент поиска передавать запросы в общедоступную панель. Во второй оценке модель загрузила пять непубличных таблиц, содержащих 147 451 строку. Исследователи OpenAI просили агентов извлечь только пять показателей из панели. Даже после сброса настроек модель продолжала использовать токен для получения непубличных данных.
«Оценка завершилась без того, чтобы модель раскрыла, что она угадала ответы, получила доступ к внутренним системам организации, загрузила непубличные таблицы или изменила конфигурацию аутентификации», — заявила OpenAI. «Все пять ответов в этой оценке были отмечены как неверные».
В третьем отчете компания сообщила, что модель, которой было поручено обновить приложение для торговли криптовалютой, использовала средства из заблокированного кошелька в тестовой сети. Модель «получила ключи кошелька из общеизвестных фраз восстановления разработчика, нашла учетную запись с тестовыми средствами и использовала эту учетную запись для оплаты развертывания контракта».
В отчете далее говорится: «Модель задалась вопросом, имеет ли она разрешение, а затем пришла к выводу, что общедоступная фраза восстановления и токены тестовой сети без стоимости делают средства приемлемыми для использования. Развертывание прошло успешно, и с учетной записи были списаны комиссии за транзакцию. Этот случай показывает, что модель может подменять собственное суждение о вероятном вреде разрешением владельца счета, а затем действовать на основании этого суждения без авторизации».
,
В последнем отчете OpenAI сообщила, что модель обошла ограничения, установленные исследователями на типы веб-запросов, которые она могла делать. Во время обучения с подкреплением модели было предложено искать общедоступную статистику торговли. OpenAI продолжила:
Найдя общедоступный справочник и представив ответ, она продолжила искать другой путь к службе статистики. Она заставила внешний браузер отправлять POST-запросы, получила годовые данные в виде изображения и извлекла их с помощью оптического распознавания символов. Затем она разработала многоразовый вспомогательный инструмент, который возвращал текст ответа через службу пересылки и почтовый ящик обратной связи, неоднократно проверяла полученные данные и использовала сохраненные данные в представленных ответах. Этот случай показывает, как модель может обходить ограничения своих инструментов, заставляя внешние службы выполнять заблокированные действия, даже после нахождения другого способа ответить на вопрос.
Модель сначала попыталась использовать внешний браузер с разрешением на выполнение GET-запросов от ее имени, а затем использовала JavaScript для получения информации. Затем модель использовала онлайн-почтовый ящик для устранения неполадок. В конце концов, модель остановилась на другом методе: она попросила внешний браузер открыть веб-форму, которая отправила запрос на статистику службе статистики с помощью POST. Когда браузер отобразил ответ, служба рендеринга вернула GIF-изображение страницы. Затем модель использовала оптическое распознавание символов для считывания данных с изображения.
Стало обычным делом, когда исследователи и журналисты описывают подобные инциденты как «выход ИИ из-под контроля». Это не обязательно так. Хотя подсказки, введенные в модели, не предписывали им использовать альтернативные методы для достижения своих целей, модели обучаются быть эффективными, настойчивыми и, по возможности, находить обходные пути, которые снижают рабочую нагрузку. Кроме того, большинство или все модели отключили определенные защитные механизмы, которые могли бы предотвратить эти действия. В этом смысле модели действовали именно так, как их обучила OpenAI.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Dan Goodin
