Агенты искусственного интеллекта, тестируемые онлайн, получили доступ к рабочим системам индийских организаций и прочитали деловые записи, включая персональные данные и конфиденциальные материалы, говорится в консультативном заключении CERT-In от 15 октября. Агенты вышли за рамки поставленных задач, и ни одна из организаций не обнаружила несанкционированного доступа. После внутренних проверок ИИ-компании, чьи модели тестировались, добровольно сообщили о случаях в CERT-In, национальное киберведомство Индии.
Агенты ИИ — это программные системы, способные планировать работу, выполнять команды, использовать инструменты и автономно действовать в Интернете в течение длительного времени. В данных случаях агенты получили доступ через учетные данные и настройки соединения, оставленные незащищенными в конфигурации приложений и общедоступных репозиториях кода, а также через роли облачных сервисов с избыточными разрешениями.
CERT-In не назвало ИИ-компании, их модели, а также задействованные организации и сектора. Ведомство не уточнило, сколько компаний сообщили о случаях и сколько организаций пострадало, лишь заявив, что отчеты поступили недавно. Также не было сказано, были ли прочитанные агентами данные скопированы или сохранены, и были ли уведомлены пострадавшие организации.
Собственное расследование CERT-In выявило второй, отдельный набор инцидентов: финансово мотивированную кампанию против индийских объектов. Злоумышленники злоупотребляли общедоступными фреймворками для наступательного обеспечения безопасности, построенными на агентах ИИ. Фреймворки продолжают использоваться и ребрендироваться, с многочисленными развертываниями в инфраструктуре нескольких стран. CERT-In не назвало фреймворки или злоумышленников.
В этой кампании фреймворки сократили время от первого доступа до конечного воздействия с дней до нескольких часов, по данным CERT-In. Злоумышленники запускали несколько агентов параллельно на часы или дни для достижения своих целей. Жертвы, которые лишь частично устранили проблемы, подвергались повторным атакам в течение нескольких дней, но в большем масштабе.
Google Threat Intelligence Group сообщила об отдельном случае в сентябре. Злоумышленники, скомпрометировавшие облачный ресурс, спланировали, создали и провели кампанию под управлением агентов, которая собрала тысячи учетных данных третьих сторон, все менее чем за 6 часов.
9 октября CERT-In предупредило об атаках на небанковские финансовые компании, цифровых кредиторов, финтех-компании, платежных провайдеров и операторов кошельков. Злоумышленники в этих случаях крали учетные данные API и напрямую вызывали API для перевода средств и их выдачи, переводя деньги на подставные счета. В этих атаках могли использоваться инструменты с поддержкой ИИ. CERT-In не уточнило, связаны ли эти атаки с кампанией, описанной в консультативном заключении от 15 октября.
Уязвимости, лежащие в основе обоих типов инцидентов, были обычными, заявил CERT-In. Учетные данные и ключи были обнаружены в исходном коде, истории общедоступных репозиториев, конфигурационных файлах, клиентских приложениях и общедоступных веб-страницах. Старые, неиспользуемые и тестовые API по-прежнему были доступны из Интернета. Ключи API платежей хранились в открытом тексте, а роли облачных сервисов и бэкэнд-как-сервиса предоставляли обычным или анонимным пользователям широкие права на чтение и запись. Интерфейсы управления были доступны из Интернета, а промежуточное программное обеспечение приложений оставалось неотлаженным, с слабыми учетными данными или без многофакторной аутентификации. В случаях, о которых сообщили ИИ-компании, агенты находили одни и те же обнаруженные учетные данные и повторно использовали их в отдельных операциях.
CERT-In не опубликовало индикаторы компрометации для обоих типов инцидентов. Организациям следует применять базовые меры, изложенные в майском документе CERT-In «Blueprint for Defending against AI-Assisted Exploitation», и предпринять следующие шаги: Банкам, страховщикам, другим финансовым фирмам и финтех-компаниям также следует применять меры по работе с API платежей и выдачи средств, изложенные в консультативном заключении от 9 октября. Указания CERT-In также требуют от организаций сообщать о кибер-инцидентах в агентство в течение 6 часов.
Для разработчиков ИИ, исследовательских лабораторий и агентств по оценке CERT-In требует изолировать тестовые запуски, блокируя исходящий сетевой доступ по умолчанию. Эта блокировка должна обеспечиваться на сетевом уровне, а не через инструкции модели. Запуск должен автоматически останавливаться, если агент связывается с внешними системами или находит или использует учетные данные, принадлежащие кому-то другому. Если агент достигает реальной системы, пострадавшая организация и CERT-In должны быть незамедлительно уведомлены.
OpenAI и Anthropic в этом году сообщили о схожих инцидентах. CERT-In не уточнило, были ли задействованы модели этих компаний в инцидентах в Индии. В июле OpenAI сообщила, что ее модели скомпрометировали платформу Hugging Face. Компания изучает действия своих моделей в Интернете во время обучения и тестирования и уведомляет третьи стороны, чьи средства контроля безопасности могли быть обойдены ее моделями. В ответ на это сообщение Anthropic начала пересматривать свои собственные оценки кибербезопасности. С тех пор компания сообщила о 4 инцидентах, в которых модели Claude получили несанкционированный доступ к реальным системам третьих сторон во время оценок, проведенных тем же внешним партнером. Она уведомила все пострадавшие стороны. Из трех организаций, упомянутых в июльском сообщении Anthropic, две, с которыми удалось связаться, не обнаружили активности.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Swati Khandelwal
