Компании, занимающиеся разработкой ИИ, много говорят о том, как эта технология ускоряет развитие здравоохранения, научных открытий, образования, производительности и практически всего остального, что имеет значение. Но пока что, пожалуй, самым драматичным изменением, вызванным гонкой ИИ, стало внезапное появление новых опасных киберугроз.
Самыми печально известными из них являются автономные взломы, запускаемые роями агентов ИИ. О последнем из них стало известно на прошлой неделе (хотя OpenAI, компания-разработчик агентов, по сообщениям, знала об инциденте гораздо дольше). Однако было бы ошибкой полагать, что новые киберугрозы в эпоху ИИ исходят только от бездумных ботов, оптимизирующих вознаграждение; по-прежнему существует множество классических хакеров, для которых новые инструменты ИИ стали настоящим подарком.
Новый отчет группы Google Threat Intelligence Group (GTIG) — исследовательской команды Google, отслеживающей новые киберугрозы — показал, что злоумышленники, многие из которых имеют прямые связи с геополитическими противниками США, повышают уровень сложности использования ИИ, переходя от простых чат-ботов к более автономным системам.
«За последний квартал злоумышленники перешли от простых взаимодействий с LLM на основе запросов к интеграции возможностей ИИ на различных этапах жизненного цикла атаки», — говорится в отчете GTIG, опубликованном во вторник утром. «Хотя традиционная автоматизация на основе скриптов давно является основным инструментом злоумышленников, группы все чаще модернизируют эти рабочие процессы, создавая высокоавтономные системы, способные анализировать сложные задачи и принимать динамические решения без необходимости человеческого контроля». Проще говоря: технология, которую ведущие компании в области ИИ (включая Google) встраивают в свои системы ИИ, давая им возможность решать сложные задачи без постоянного контроля, также значительно облегчает хакерам их грязную работу.
Некоторые из «противников», идентифицированных GTIC в новом отчете, по-видимому, поддерживаются Китаем, Россией и Ираном. Одна группа, о которой GTIC впервые сообщила ранее в этом году и идентифицировала только как «UNC6508», нацелена на американские академические, медицинские и военные исследовательские учреждения таким образом, который «соответствует стратегическим интересам Китайской Народной Республики». Согласно отчету от вторника, UNC6508 использовала модель ИИ с открытым исходным кодом в облачных средах своих целей для кражи вычислительных ресурсов, не оставляя следов, которые остались бы при использовании коммерческой, общедоступной модели ИИ.
«[UNC6508] продолжает исследовать, как настраивать и использовать инструменты ИИ, включая локальное использование открытых моделей, а также исследовать уязвимости в самих моделях ИИ», — говорится в новом отчете GTIC.
В другом случае, о котором сообщила GTIC, злоумышленники из Ирана использовали Gemini для создания реалистичных дипфейков, которые должны были использоваться в кампаниях социальной инженерии. Вместо того чтобы вводить один запрос за другим для тонкой настройки внешнего вида дипфейков, они развернули модель ИИ для автономного определения «детальных технических параметров — включая углы камеры, студийное освещение и реалистичные текстуры лица — для достижения фотореалистичных визуальных результатов».
GTIC также сообщила о «скоординированных кампаниях», проводимых «на регулярной основе» для дистилляции проприетарных систем ИИ, что, по их словам, является нарушением условий обслуживания Google и может повлечь за собой юридические действия. Хотя дистилляция давно является широко используемой практикой в индустрии ИИ для разработки новых моделей, она недавно стала политической горячей точкой. Ведущие американские разработчики, включая OpenAI и Anthropic, обвинили своих китайских конкурентов в дистилляции своих систем ИИ с целью получения конкурентного преимущества, а Белый дом пообещал принять меры против того, что он описал как «преднамеренные, промышленные кампании по дистилляции передовых систем ИИ США».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Webb Wright
