OpenAI выпустила новый классификатор изображений и предупреждения для ChatGPT для борьбы с CSAM

Openai ии Chatgpt безопасность Csam дети techcrunch.com

ChatGPT будет блокировать учетную запись на 24 часа в качестве предупреждения при попытке доступа к контенту CSAM.

Компания представила новый классификатор изображений, способный обнаруживать изображения CSAM (child sexual abuse material), включая сгенерированные искусственным интеллектом. OpenAI бесплатно предоставляет избранным компаниям доступ к своему классификатору через API. Инструмент ищет визуальные признаки насилия на ранее не виденных изображениях и присваивает им оценку, которая может служить ориентиром для рецензентов при работе с CSAM.

OpenAI заявила, что разработала этот классификатор совместно с Национальным центром по борьбе с пропавшими и эксплуатируемыми детьми (NCMEC) и сотрудничает с Tech Coalition и ROOST для предоставления доступа к инструменту. В ходе раннего тестирования с партнерами компания обнаружила, что классификатор помечает на 48% меньше изображений, при этом находя то же количество изображений с насилием, что сокращает работу рецензентов. Кроме того, изображения, помеченные классификатором, в два раза чаще оказываются изображениями с насилием.

Более того, компания добавляет новые предупреждающие экраны в ChatGPT, чтобы предотвратить доступ пользователей к материалам, сексуализирующим детей. ChatGPT будет отображать предупреждение пользователям, пытающимся использовать такие запросы, направлять их к специализированной поддержке для прекращения вредоносного поведения, а также приостанавливать действие учетной записи на 24 часа в качестве предупреждения. Приложение уже блокирует контент CSAM и связанные с ним запросы. Компания заявила, что повторные нарушения могут привести к окончательному удалению учетной записи.

OpenAI отметила, что разработала сообщения и рекомендации по такому поведению совместно с организациями и исследователями, включая Protect Children, Lucy Faithfull Foundation и Джоэла Скэнлана из Университета Тасмании, который независимо оценил пробное применение сдерживающих сообщений.

Компания также публикует рекомендации для разработчиков, использующих инструменты OpenAI, по предотвращению, обнаружению и помощи пользователям в сообщении о контенте CSAM. Компания заявила, что на ранних этапах тестирования эти рекомендации помогли ряду разработчиков внедрить инструменты обеспечения безопасности детей и зарегистрироваться для сообщения о CSAM в NCMEC. OpenAI также оснащает правоохранительные органы, занимающиеся вопросами безопасности детей, функциями на базе ИИ, такими как специализированные плагины, инструменты расследования и сложный анализ данных, доступ к которым управляется администраторами программ. Компания также проводит обучение следователей, а также предоставляет полевое руководство по использованию ИИ.

OpenAI столкнулась с несколькими судебными исками, обвиняющими ее технологии во вреде пользователям, особенно детям. Некоммерческая организация Common Sense Media назвала технологии OpenAI «неприемлемым риском» для подростков. Другие чат-боты с ИИ, в частности Grok, использовались для создания несанкционированных сексуализированных изображений, в том числе детских.

За последние 12 месяцев стартап в области ИИ внес изменения в свои технологии, включая выпуск плана безопасности, обновление правил контента для запрета неприемлемого контента, доработку модели для предотвращения генерации вредоносного контента и выпуск специальной версии ChatGPT для подростков.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: