Amnesty призывает запретить системы AI-профилирования рисков

ии профилирование дискриминация права человека предиктивный анализ computerweekly.com

Amnesty International заявляет, что системы оценки рисков на базе ИИ дискриминационны и могут приводить к ложным результатам, нарушающим международное право в области прав человека. — computerweekly.com

«Использование искусственного интеллекта (ИИ) для предиктивного профилирования или оценки рисков должно быть запрещено в ряде «критически важных областей», таких как правоохранительная деятельность, миграция и социальное обеспечение», — заявляет Amnesty International, основываясь на том, что это может лишь закрепить существующие модели дискриминации. Согласно отчету, опубликованному группой 11 июня 2026 года, автоматизированные системы оценки рисков на базе ИИ приводят к ложным уголовным обвинениям против маргинализированных групп и несовместимы с международным правом в области прав человека. В докладе подчеркивается, что профилирование рисков с помощью ИИ — используемое государственными органами в правоохранительной деятельности, социальном обеспечении и миграции для выявления потенциальных правонарушителей и оценки вероятности нарушения закона человеком или группой до совершения правонарушения — приводит к дискриминации по признаку расы, этнической принадлежности, социально-экономического статуса и инвалидности, нарушая право на равенство и недискриминацию. «То, как развертываются эти инструменты, может быть результатом уже существующих стереотипов и предрассудков, которые рассматривают маргинализированные группы как по своей сути преступные или опасные», — заявил Александр Лауфер, исследователь Amnesty International в Нидерландах по вопросам технологий и прав человека. «Отдельные лица или группы превращаются из статистических, гипотетических подозреваемых в реальных подозреваемых, что цементирует существующие предрассудки или порождает новые. Это результат существующей системной дискриминации».

Системы оценки рисков на базе ИИ, обученные на дискриминационных данных

На сегодняшний день технология развернута в Швеции, Дании, Франции, Нидерландах и Австралии в рамках расследований социального мошенничества и схем взыскания долгов. Использование одной системы ИИ было приостановлено в Швеции в ноябре 2025 года после того, как расследования выявили, что технология непропорционально и ошибочно помечала маргинализированные группы для расследования по поводу мошенничества с социальными пособиями. До приостановки этой системы Amnesty охарактеризовала использование этой системы профилирования как «сродни охоте на ведьм». Данные, основанные на существующей системной дискриминации, означают, что маргинализированные группы могут стать объектом повышенного риска быть помеченными как «подозрительные». Amnesty отметила, что это касается «расовых меньшинств, мусульман, людей в движении, людей с ограниченными возможностями или хроническими заболеваниями, а также людей с низкими доходами». Лауфер заявил, что профилирование рисков с помощью ИИ может привести к ложным уголовным обвинениям, тюремному заключению, бездомности, депортациям и отказу в социальных пособиях, в то время как отсутствие прозрачности в технологии оставляет людей «неспособными оспаривать эти системы и решения, затрагивающие их права». Он добавил: «Это также создает риски для других прав человека, таких как право на справедливое судебное разбирательство, презумпция невиновности, право на неприкосновенность частной жизни и защиту данных, социальное обеспечение и адекватный уровень жизни, а также полная реализация человеческого достоинства».

Могут ли алгоритмы ИИ предсказывать потенциальное преступное поведение?

Несмотря на опасения, высказанные Amnesty и другими сторонами, что технология постоянно неточна и научно сомнительна, правительства продолжают наращивать использование оценки рисков на базе ИИ как «экономически эффективного способа борьбы с преступностью, мошенничеством в сфере социального обеспечения и нерегулярной миграцией». Однако, по мнению Лауфера, «невозможно разработать объективный или нейтральный алгоритм оценки рисков — данные о людях никогда не бывают объективными». В докладе добавлено, что данные, необходимые для прогнозирования совершения преступления человеком, не существуют и не могут существовать, что означает использование ненадежных и предвзятых прокси-данных в качестве индикаторов для прогнозирования потенциального преступного поведения. В нем также отмечается, что, поскольку человеческое поведение «по своей сути неопределенно» и «адаптивно», невозможно точно предсказать будущее поведение. «В некоторых случаях нет правдоподобной связи между наблюдаемыми данными и предполагаемым прогнозируемым поведением, например, между расой или этнической принадлежностью и преступностью — а именно, расовое профилирование», — говорится в докладе. «В других случаях, независимо от объема данных, нет данных или прокси-данных, которые были бы достаточно хорошими или объективными для адекватного моделирования лежащего в основе явления. К таким системам относится оценка рисков, которая пытается предсказать преступность, жизненный путь или склонность к совершению мошенничества в сфере социального обеспечения на индивидуальном уровне или в определенном месте. Эти предиктивные системы были разоблачены и осуждены как научная недобросовестная практика».

Целенаправленное наблюдение подпитывает существующие предубеждения

Лауфер добавил, что использование социальных данных для прогнозирования совершения преступления неизбежно нацелено на лиц, принадлежащих к исторически угнетенным или маргинализированным группам, которые чрезмерно представлены в базовых наборах данных, тем самым усугубляя прошлые несправедливости. «Попытки прогнозировать мошенничество или преступность часто сводятся к автоматическому превращению маргинализированных сообществ и отдельных лиц в подозреваемых, а не к принятию решений на основе доказательств», — сказал он. Инструменты на базе ИИ ранее уже отмечались Amnesty как дискриминационные, когда инструменты наблюдения использовались для отслеживания и депортации мигрантов в США. Петра Молнар, юрист по миграционному праву и правам человека и директор Refugee Law Lab в Йоркском университете, ранее заявляла Computer Weekly, что инструменты на базе ИИ могут воспроизводить существующие предубеждения: «Алгоритмы социально сконструированы, а наш мир построен на системном расизме и исторической дискриминации». В Великобритании Statewatch ранее сообщал, что Министерство юстиции Великобритании разрабатывало инструменты профилирования на основе данных для прогнозирования преступлений, включая инструмент, нацеленный на прогнозирование потенциальных убийц. Критики утверждали, что эти системы усугубляют петли обратной связи, усиливая наблюдение за бедными и расовыми меньшинствами, при этом Amnesty International отдельно предупреждала, что предиктивная полиция рискует «усилить расизм». В январе 2026 года Министерство внутренних дел объявило об инвестициях в размере 140 миллионов фунтов стерлингов в PoliceAI — включая финансирование 40 новых подразделений распознавания лиц в реальном времени, — что сигнализирует о существенном масштабировании ИИ в правоохранительной деятельности, которое должно быть развернуто в течение следующих трех лет.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: