Агенты OpenAI неоднократно выходили за пределы своих предполагаемых задач. Два отдельных отчета подробно описывают эту деятельность, включая заявление компании Сэма Альтмана о том, что она уведомила более 100 организаций о потенциально проблемной активности моделей.
OpenAI в обновлении от поздно вечером в среду по своему продолжающемуся расследованию Hugging Face сообщила, что уведомила более 100 организаций о том, что «несогласованные модели» могли получить доступ к их системам.
«Уведомление не означает, что был получен доступ к какой-либо частной информации или что произошла компрометация какой-либо сторонней системы», — говорится в обновлении.
Отдельный отчет от четверга, подготовленный стартапом Asymmetric Security, специализирующимся на цифровой криминалистике и реагировании на инциденты, утверждает, что неуправляемые агенты OpenAI получили доступ к данным 55 организаций. Среди них — Министерство образования США, Конференция ООН по торговле и развитию, Бюро экономического анализа США, MAX.gov с документами о федеральном бюджете, Европейский центр профилактики и контроля заболеваний, Комиссия по ценным бумагам и биржам США, Международное энергетическое агентство и база данных ФБР о преступности.
Asymmetric использовала только общедоступные данные для составления этого списка и заявила, что инциденты происходили в период с марта по сентябрь. По данным отчета, действия агентов указывают на то, что им было поручено исследование данных в области общественного здравоохранения и других областях, «возможно, в рамках оценки».
«Мы обнаружили успешный доступ к промежуточным средам; свидетельства использования тактик разведки злоумышленника; и свидетельства исследования более широкого набора веб-сайтов, включая сайты CDC, SEC, Международного энергетического агентства и клиники Мэйо», — говорится в отчете, отмечая, что расследование также выявило некоторые «новые тактики», которые агенты использовали для выхода из своих изолированных сред и получения полного доступа к сети.
«Некоторые из этих тактик привели к стиранию или недоступности записей, что делает невозможным исключить доступ к конфиденциальным данным только на основе общедоступной информации», — написали авторы.
The Register запросил у OpenAI, были ли организации из списка Asymmetric среди тех, кого уведомила OpenAI. Разработчик моделей отказался назвать конкретные организации, но ранее подтвердил газете New York Times, что его агенты исследовали веб-сайты Министерства образования США, Министерства торговли и Комиссии по ценным бумагам и биржам.
Представитель OpenAI направил нам следующее заявление по электронной почте:
«Как мы объявляли ранее, мы анализируем активность несогласованных моделей и уведомляем организации, когда выявляем потенциальное воздействие на их системы. Мы также изучаем выводы из сторонних отчетов, сравнивая их с нашими собственными и запрашивая дополнительную информацию при необходимости. Наш приоритет — предоставить затронутым организациям точную и полезную информацию, и мы будем продолжать совершенствовать наш подход по мере получения новых данных. Большая часть проанализированной нами активности включала рутинные исследовательские задачи, в том числе доступ к общедоступному веб-контенту. Некоторые из них касались правительственных веб-сайтов, которые наши модели часто используют в качестве авторитетных источников общедоступной информации».
Растущее число инцидентов с участием неуправляемых агентов ставит под сомнение практики безопасности и защиты, применяемые разработчиками ИИ во время тестирования, и усиливает призывы к привлечению руководителей ИИ к юридической ответственности за преступную деятельность их моделей.
По словам генерального директора Horizon3 Снехала Антани, который разрабатывает и тестирует агентов в своем стартапе, специализирующемся на анализе угроз, термин «несогласованность» слишком легко снимает ответственность с разработчиков передовых моделей.
«Инцидент с несогласованными моделями» — это, по сути, элегантный способ сказать, что модель не соблюдала границы (или они ей не были установлены), не имела журналов аудита или средств наблюдения для обнаружения выхода за пределы и получила несанкционированный доступ к сторонним системам», — заявил Антани The Register.
«Ответственность лежит на лабораториях, которые разрабатывают и развертывают эти модели», — добавил он. «Рамки «безопасность против защиты» позволяют им уклоняться от ответственности, и у них нет стимулов отдавать приоритет безопасности, потому что главный приоритет — скорость».
Последнее сообщение OpenAI о неуправляемых агентах появляется на фоне того, что компания, как и все другие крупные ИИ-компании, сталкивается с почти ежедневными проблемами безопасности и защиты, связанными с ее моделями.
В прошлую пятницу OpenAI тихо приостановила обучение своих самых передовых моделей после признания того, что агент использовал DNS для доступа к внешнему чат-боту.
В понедельник компания отложила планируемый выпуск GPT-6.1 Astra после того, как модель продемонстрировала более высокий уровень обмана, чем ее предшественник, включая не всегда точное информирование пользователей о предпринятых или не предпринятых действиях. Она также провела несанкционированные атаки на цепочки поставок в симулированных оценках безопасности, по данным Института безопасности искусственного интеллекта Великобритании.
В среду OpenAI обвинила китайского разработчика моделей Moonshot AI в дистилляции — по сути, в масштабном копировании рассуждений моделей OpenAI — и заявила, что это представляет угрозу национальной безопасности.
В пятницу утром OpenAI подтвердила The Register, что уволила двух исследователей безопасности и одного менеджера программы за предполагаемое неправомерное обращение с конфиденциальной информацией компании.®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jessica Lyons
