По мнению исследователей Trend Micro, киберпреступники, в том числе группы, занимающиеся вымогательством, в следующем году будут активнее использовать агентивный ИИ, поскольку злоумышленники автоматизируют все больше своих операций.
Этот прогноз появился сразу после публикации Anthropic отчета, оспариваемого некоторыми, в котором утверждалось, что был замечен первый пример использования агентивного ИИ для организации кибератаки китайской группой, спонсируемой государством.
Райан Флорес, руководитель отдела исследований данных и технологий Trend Micro, заявил, что рост технологий агентивного ИИ — это “то, чего мы очень опасаемся”, и что спонсируемые государством группы будут лидировать в инновациях в этой области, прежде чем киберпреступники начнут использовать их в своих целях.
По данным разведки этой компании, в настоящее время нет никаких признаков того, что киберпреступники используют агентивный ИИ в атаках, поскольку именно спонсируемые государством группы первыми осваивают новые технологии, но как только технология докажет свою успешность и масштабируемость, киберпреступники начнут ее внедрять.
Он добавил, что агентивный ИИ — это технология, которая, безусловно, appeal to (понравится) киберпреступникам с их ленивым подходом к атакам: получение максимальной выгоды при минимальных затратах усилий.
Для непосвященных, агентивный ИИ — это следующая большая эволюция генеративного ИИ, технологии, с которой большинство людей, нравится им это или нет, уже знакомы.
Эта технология развертывает ИИ-агентов, которые дают системам на базе ИИ свободу и автономию для выполнения действий от имени организации.
Он отличается от генеративного ИИ тем, что технология может предпринимать действия без участия человека. В идеальном мире это привело бы к развертыванию должным образом авторизованной, безопасной агентивной системы ИИ для обработки таких задач, как адаптация сотрудников.
Один из примеров, приведенный Флоресом, касался сценария отдела кадров, когда вместо ручного создания адреса электронной почты, учетной записи Active Directory и всех различных процессов настройки платформы, связанных с приемом нового сотрудника в компанию, агентивная система ИИ могла бы полностью автоматизировать всю процедуру.
Основная потенциальная опасность агентивных систем заключается в том, что они могут предпринимать действия без участия человека — это благо для киберпреступников, стремящихся к совершению атак.
Флорес сказал: “Например, если вы киберпреступник, и вы разрабатываете аналогичную систему, а затем просто говорите: знаете что, меня интересует эта компания или веб-сайт, расположенный в этой стране, с этим конкретным IP-адресом, просканируйте его на наличие уязвимостей, и если вы обнаружите уязвимость, используйте ее, получите доступ, а затем создайте удаленную оболочку, которая позволит мне получить доступ к этой скомпрометированной системе, и это позволит мне увидеть, что там внутри.
“Это использование агентивного ИИ киберпреступником или злоумышленником, и это то, чего мы очень опасаемся, потому что технология есть. LLM (большие языковые модели) действительно могут рассуждать, чтобы решить эту “проблему” для киберпреступника и разработать шаги, необходимые для этого.
“Инструменты, необходимые для этого, также доступны. Инструменты для идентификации веб-сайтов и доменов компаний, а также IP-адресов, есть. Инструменты для сканирования на наличие уязвимостей есть. Инструменты для эксплуатации этих уязвимостей есть, и инструменты для установки бэкдора или удаленного доступа уже есть. Таким образом, возможности есть, дело только в том, чтобы злоумышленники начали их использовать”.
Дэвид Санчо, старший исследователь угроз в Trend Micro Europe, сказал, что это не произойдет в одночасье, и полной автоматизации всей цепочки атак мы не увидим в краткосрочной перспективе.
По его словам, все начнется с того, что только один или несколько элементов атак будут поддерживаться агентивным ИИ, и будет неуклонно увеличиваться, пока модель киберпреступности не будет пересмотрена.
Как бы то ни было, как отметила Trend Micro в своем докладе “AI-фикация киберугроз”, переход к агентивной автоматизации кибератак станет “большим скачком” для экосистемы киберпреступности.
В докладе говорится: “Продолжающийся рост числа программ-вымогателей как услуги (RaaS) на базе ИИ позволит даже неопытным операторам проводить сложные атаки с минимальными навыками, снижая зависимость от традиционных филиалов RaaS и делая независимые операции с программами-вымогателями все более распространенными.
“Мы прогнозируем, что эта демократизация наступательных возможностей значительно расширит ландшафт угроз”.
Санчо далее предсказал, что это может начаться с того, что более опытные киберпреступники будут предлагать эти агентивные услуги другим, создавая новый подпольный рынок для этих возможностей, что поможет вывести атаки на основе агентивного ИИ в мейнстрим.
Как всегда в динамике “атакующий-защитник”, первоначальное преимущество всегда будет на стороне киберпреступника, сказал Флорес, и перед защитниками будет стоять задача не отставать от ремесла мошенников.
Все еще действуют те же принципы, что и в доагентивные времена: поставщики экономически заинтересованы в принятии новейших технологий и защите своих клиентов, и менталитет “предполагаемого нарушения” должен по-прежнему сохраняться во всех организациях.
И по мере того, как ИИ-агенты становятся все более распространенными, с ними следует обращаться так же, как и с любым другим пользователем, который может предпринимать действия в системе или сети, предоставляя им наименьшее количество привилегий, которое необходимо, и применяя средства управления доступом так же, как они используются в настоящее время.
Подобно тому, как учетные записи пользователей-людей могут быть скомпрометированы, ключевым соображением для защитников будет защита агентов от захвата злоумышленниками, например, для осуществления платежей из средств организации, создания учетных записей, отправки электронных писем и так далее.
Как отметила Trend Micro в своем отчете, злоумышленникам также не нужно использовать или даже напрямую эксплуатировать ИИ-агентов, чтобы причинить вред.
“Они также могут манипулировать окружающей инфраструктурой, внедрять отравленные модули или эксплуатировать общие уровни оркестровки, тем самым превращая доверенных ИИ-агентов в выполнение вредоносных действий”, — заявили в компании. “Незначительные атаки, такие как инъекции подсказок, могут незаметно перехватывать рабочие процессы с участием нескольких агентов и влиять на поведение нижестоящих служб, не оставляя очевидных следов.
“Определив, какие сервисы и платформы внедряют организации, злоумышленники могут стратегически расположить себя для эксплуатации связанных с этим слабых мест”.
Исследователи из Hudson Rock также недавно подчеркнули опасность внедрения агентивного ИИ в операционные системы, к чему, по мнению многих, и движется эта технология.
В частности, рассматривая Windows 11, команда заявила, что новая панель задач Copilot по сути создает централизованный центр данных, который может быть использован похитителями информации.
Вредоносное ПО для кражи информации и данные, которые оно собирает, часто используются злоумышленниками, мотивированными финансово, например, группами, занимающимися вымогательством, для предоставления ресурсов, необходимых для получения первоначального доступа к сети жертвы.
Hudson Rock заявил, что в настоящее время уже наблюдаются агентивные атаки с использованием вредоносного ПО для кражи информации. Вместо запуска вредоносной полезной нагрузки, которая сканирует машину на наличие секретов, таких как учетные данные, “агентно-ориентированный стилер” нацелен на эти централизованные центры данных, такие как Copilot, для кражи данных от имени злоумышленников.
В этом контексте “агентно-ориентированный стилер” относится к безобидно выглядящему документу со скрытыми инструкциями, написанными белым текстом, чтобы появиться на белом фоне.
Если пользователь затем откроет этот документ и попросит Copilot обобщить, проанализировать или иным образом разобрать файл, агентивный ИИ будет следовать скрытым инструкциям и извлекать данные для злоумышленника, часто не вызывая никаких предупреждений безопасности. ®
Получите наши технические ресурсы.
Автор – Connor Jones
