Исследователи в области безопасности продолжают предупреждать о бесконтрольном распространении большого объема откровенного контента, сгенерированного ИИ, в то время как регуляторы мало что делают для его эффективного пресечения.
Исследование, проведенное совместно с Google и опубликованное в июле этого года, показало, что такой контент, созданный без согласия, часто распространяется в текстовых сообщениях и личной переписке или хранится в частных облачных хранилищах, где его сложнее обнаружить или сообщить о нем. Поэтому, как заключили исследователи Google, «наиболее критической точкой вмешательства» остается источник: вредоносные инструменты ИИ, используемые для создания фальшивых сексуальных изображений.
Однако недавние тесты показывают, что по мере совершенствования некоторых ведущих генераторов изображений от Google и OpenAI они могут становиться хуже в блокировке откровенного контента.
Тревогу бьют исследователи из White Circle, некоммерческой организации, поддерживаемой старшими руководителями и исследователями из Anthropic, DeepMind, Hugging Face и OpenAI. Компания была основана после того, как генеральный директор Денис Шилов в октябре 2024 года опубликовал один из самых известных универсальных «джейлбрейков» для ведущих моделей.
White Circle, стремясь к глубокому тестированию безопасности путем взлома моделей, помогает компаниям выявлять и предотвращать угрозы при внедрении передовых систем ИИ, которые не всегда могут вести себя ожидаемым образом.
Тестирование того, насколько хорошо модели преобразования текста в изображение блокируют запрещенные категории контента, является ключевым направлением исследований для White Circle, и Шилов считает их последние выводы «ужасающими» настолько, чтобы поделиться ими с общественностью.
Просто обойти
В малозаметном препринте, опубликованном в прошлом месяце, исследователи White Circle выявили уязвимости в защитных механизмах DALL·E 3, Nano Banana 2 от Google и GPT-Image-2. В пресс-релизе они пояснили, что «используя только готовые инструменты, доступные онлайн для скачивания, и отправляя API-запросы, White Circle удалось применить новый метод атаки для обхода фильтров безопасности» и генерировать откровенный контент примерно в 13 процентах случаев.
,
«Важно отметить, что ни один из этих запросов не требовал специально разработанных или передовых моделей ИИ», — предупредили в White Circle, — «поэтому для осуществления атак не требуется никаких знаний в области ИИ».
Исследователи проверили результаты, чтобы подтвердить частоту обхода, которая, по мнению White Circle, является «самой высокой среди всех методов, протестированных по одному и тому же стандарту». Ключевой вывод, по их мнению, заключается в том, что «в то время, когда безопасность ИИ находится под пристальным вниманием, защитные механизмы, созданные ведущими лабораториями, гораздо слабее, чем они признают».
Публикуя подобные исследования, White Circle позиционирует себя как внешний оценщик передовых лабораторий и планирует открыть весь конвейер атак, чтобы производители моделей могли понять истинный масштаб уязвимости и создать более надежную защиту. Хотя компания еще не получила широкой огласки, она представит результаты на престижной конференции по ИИ в ноябре этого года, NeurIPS 2026, что может усилить давление на Google и OpenAI позднее этой осенью.
White Circle поделилась своими выводами с некоторыми передовыми лабораториями ИИ через «общих знакомых», сообщил Шилов Ars, но ни Google, ни OpenAI не ответили на запрос Ars прокомментировать уязвимости, обнаруженные в их моделях.
Тем временем OpenAI и Google выпустили новые модели — ChatGPT Images 2.5 и Nano Banana 2.1 — и White Circle сообщила Ars, что тестирование безопасности промптов с использованием того же метода показало, что «обе модели значительно более уязвимы, чем их предыдущие версии».
Ни одна из компаний не ответила после того, как Ars поделилась этими новыми выводами.
Метод атаки White Circle способен разрушать передовые системы защиты в таких категориях, как откровенный контент, который кажется легко обнаруживаемым, что не сулит ничего хорошего для более серьезных систем защиты, которые в настоящее время обновляются для блокировки другого нежелательного поведения ИИ, такого как взлом, сообщил Шилов Ars.
«Рабочая гипотеза White Circle заключается в том, что либо новые модели более совершенны и способны генерировать более широкий спектр контента, либо безопасность была отодвинута на второй план в пользу возможностей», — сообщили Ars в White Circle.
,
White Circle также ведет предварительные переговоры с представителями правительства о стороннем тестировании безопасности, сказал Шилов, которое, по его мнению, должно быть обязательным. Обязательные независимые аудиты могли бы заставить компании уделять приоритетное внимание тестированию безопасности, которое, по мнению аналитиков, в значительной степени отходит на второй план, поскольку ИИ-компании вкладывают большую часть своих ресурсов в вычислительные мощности и инфраструктуру ИИ.
«Они должны гораздо больше инвестировать в меры безопасности и защиту своих моделей», — сказал Шилов Ars. «И нам кажется, что они этого не делают».
Метод атаки «RISE» итеративно совершенствует «джейлбрейки»
Чтобы выявить «джейлбрейки», которые являются «многоразовыми и переносимыми» — работающими на разных ведущих моделях — White Circle не ограничивалась тестированием одного промпта за раз. Вместо этого исследователи искали «шаблоны, которые работают в различных промптах и сценариях», чтобы обнаружить многоразовые стратегии атак, которые могли бы работать на ведущих моделях. (Исследователи отметили, что Midjourney не тестировался, поскольку «не предоставляет общедоступный API, подходящий для контролируемого бенчмаркинга».)
Команда назвала этот новый метод атаки «Red-teaming via Iterative Strategy Evolution» (RISE). Он состоит из двух компонентов: атакующей модели, которая генерирует «джейлбрейки», и модели-судьи, которая проверяет, является ли вывод запрещенным контентом.
«Весь конвейер построен на основе широко доступных моделей», — сказал Шилов Ars. Атакующая модель — это модель Qwen, загруженная с Hugging Face, а модель-судья — Gemini 3.8 Flash.
«Вам не нужны передовые модели, чтобы взломать защиту передовой модели, что очень интересно», — сказал Шилов.
Много времени было потрачено на обеспечение точного определения запрещенного контента моделью-судьей, сказал Шилов. Исследователь White Circle Дмитрий Харлапенко сообщил Ars, что, когда дело доходит до тестирования генераторов изображений, вся область «ред-тиминга» «очень плохо откалибрована», при этом «буквально нет ни одной статьи», устанавливающей нормы. По этой причине эта область остается «полностью пораженной проблемами с отчетностью», что вызывает беспокойство у White Circle, поскольку ИИ-компании стремятся захватить рынки, выпуская все более привлекательные новые модели.
,
Как пояснил Шилов, для White Circle исследование было направлено на создание более совершенных моделей, которые могли бы имитировать атаки на другие модели. Таким образом, они могли бы «помочь защитникам выявлять и устранять уязвимости до того, как они будут использованы злоумышленниками», говорится в препринте.
В своем идеальном мире Шилов считает, что ИИ-фирмы должны не только проходить обязательное внешнее тестирование безопасности, но и подвергаться стороннему мониторингу, подобно системе, используемой для предотвращения ядерных угроз.
Тогда такие организации, как White Circle, могли бы сформировать коалицию для обнаружения угроз ИИ в режиме реального времени, не страдая от предвзятости. Шилов отметил, что возникающая проблема в экосистеме ИИ заключается в том, что практически любой, кто занимается интересной работой в области безопасности, скорее всего, будет нанят передовыми лабораториями, что потенциально может поставить под угрозу их работу.
White Circle сотрудничала с передовыми лабораториями. Ранее она участвовала в программе поощрения за обнаружение ошибок Anthropic, но в конечном итоге сочла эту программу «очень ограниченной по своему назначению».
«Программа сосредоточена на универсальных «джейлбрейках» в областях, которые их больше всего волнуют, определенных их собственными конкретными условиями», — сообщили Ars в White Circle.
Исследования, подобные их последней статье RISE, «определенно» не были бы охвачены этой программой, заявили в White Circle. И проведение такой работы в рамках Anthropic рисковало бы ограничить возможность White Circle делиться ею с общественностью.
Anthropic предложила пойти еще дальше и внедрить сторонних специалистов по оценке безопасности ИИ в свои лаборатории, что, по словам White Circle, позволило бы им работать на гораздо более высоком уровне, чем участие в программе поощрения за обнаружение ошибок. Однако общественность не всегда сможет внимательно следить за этой работой. Во вторник OpenAI и Anthropic призвали к введению строгих соглашений о неразглашении для внешних оценщиков, чтобы предотвратить утечку коммерческой тайны, сообщило Reuters.
White Circle не согласилась бы подписать какие-либо ограничительные соглашения о неразглашении, которые могли бы помешать публичному распространению критически важных выводов, сообщили Ars в White Circle, поэтому, если Anthropic потребует соглашения о неразглашении, это партнерство, вероятно, не состоится.
,
ИИ-порнография и CSAM растут
Злоумышленникам, стремящимся создавать несанкционированные интимные изображения (NCII) и материалы, связанные с сексуальным насилием над детьми (CSAM), сгенерированные ИИ, не нужны передовые модели, и они часто используют так называемые «нудифицирующие» приложения, разработанные для этой вредоносной цели. Однако исследование Google показало, что 20 процентов онлайн-пользователей, признавшихся в создании ИИ-порнографии, делали это «ради развлечения» или «в шутку», в то время как почти треть просто «экспериментировала с технологиями». Поэтому важно, насколько легко обойти защиту наиболее доступных моделей. По мнению исследователей Google, меры безопасности должны быть обязательными, чтобы перекрыть «путь к злоупотреблениям» для «части злоумышленников, которых технические трудности могли бы иначе отпугнуть».
«На разработчиков также ложится ответственность за внедрение надежных защитных механизмов на уровне моделей и индикаторов происхождения для предотвращения первоначальной генерации и последующего распространения синтетических сексуальных изображений», — говорится в исследовании Google.
На прошлой неделе Internet Watch Foundation (IWF) предупредила о необходимости срочных мер после того, как эксперты обнаружили «больше фотореалистичных изображений сексуального насилия над детьми, сгенерированных ИИ, в первой половине этого года, чем за весь 2025 год, включая изображения детей младше двух лет». Всего за первые шесть месяцев 2026 года было обнаружено 6 310 изображений, соответствующих юридическому определению CSAM, что примерно на 40 процентов больше, чем за весь прошлый год.
Британская некоммерческая организация отслеживает CSAM по всему миру и управляет горячей линией для поддержки жертв. В Великобритании они призывают регуляторов ввести систему безопасности, которая обяжет ИИ-компании предотвращать использование их технологий для создания CSAM, сообщил Ars представитель IWF.
До тех пор IWF считает важным, чтобы третьи стороны, такие как White Circle, «указывали на сбои в системах защиты компаний».
«Наши аналитики видели, как достижения в области ИИ позволяют с минимальными усилиями создавать изображения сексуального насилия над детьми, устраняя необходимость в технических знаниях и значительно снижая барьеры для входа», — заявил представитель IWF. «Инструменты ИИ могут воспроизводить и усиливать преступный контент, ускоряя создание и распространение вредоносных материалов в больших масштабах. Любое препятствие или шаг, который может быть введен, чтобы затруднить злоупотребление этими инструментами, является позитивным шагом вперед».
,
Подобно тому, как внешний ввод мог бы помочь усовершенствовать фильтры, IWF считает, что технологические компании также должны более тесно сотрудничать с правозащитниками для проверки моделей, чтобы лучше бороться с CSAM, генерируемым ИИ.
«Оценка CSAM — это высокоспециализированная задача, требующая экспертной подготовки и поддержки благополучия, и это не то, к чему технологические компании или ученые, занимающиеся машинным обучением, должны относиться легкомысленно», — заявил представитель IWF. «Но безопасность должна быть заложена в новую технологию с самого начала — это включает тестирование моделей перед их выпуском на рынок, чтобы убедиться, что они не могут быть использованы для создания обнаженных или сексуальных изображений детей».
Возможные меры смягчения последствий
Используя такой метод, как RISE, White Circle считает, что это может помочь передовым лабораториям быстрее выявлять больше «джейлбрейков» и быстро наращивать защиту для блокировки вредоносных результатов. Помимо тестирования блокировки откровенных изображений, компании также могли бы использовать этот метод для предотвращения других запрещенных результатов, таких как изображения, изображающие графическое насилие или самоповреждение.
Однако лаборатории еще не обратились за конвейером воспроизведения, который будет размещен на GitHub White Circle, чтобы помочь политикам оценить, нужны ли законы о безопасности ИИ для контроля над передовыми лабораториями.
Передовые лаборатории не будут инвестировать в тестирование безопасности, пока это не станет обязательным, сказал Шилов Ars. Это означает, что общественность может остаться с моделями, которые просто переписывают плохие промпты для предотвращения ограниченных результатов, вместо того, чтобы, как объясняется в препринте, «развивать стратегии атак на естественном языке, которые используют собственные исследовательские возможности LLM» для блокировки результатов.
«Вам не нужны передовые модели или проприетарные технологии, чтобы взломать эти системы; вам просто нужен бесплатный загрузчик и возможность делать API-вызовы», — сказал Шилов. «И тем не менее, лаборатории, создающие эти системы, сами оценивают их безопасность, публикуют свои результаты и устанавливают свои стандарты. Это еще одно доказательство, если оно нам было нужно, того, что правительства должны настаивать на независимой, сторонней оценке».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ashley Belanger
