Компания Patreon заявляет, что усиление мер защиты стало необходимым, поскольку с момента внедрения первых ограничений для AI-краулеров в 2023 году методы AI-скрапинга стали более изощренными. Кроме того, платный доступ Patreon долгое время блокировал доступ краулеров к большей части контента авторов. Однако недавно компания внедрила новые инструменты для поиска, такие как переработанная лента Home Feed и похожие на твиты Quips, которые могут открыть больше контента для краулеров.
Эти изменения происходят на фоне того, как все больше онлайн-издателей и создателей контента осознают, что AI использует их работы для обучения своих моделей. Для борьбы с этим Cloudflare теперь предлагает инструменты, позволяющие владельцам сайтов ограничивать AI-ботов, включая маркетплейс, позволяющий сайтам взимать плату с AI-ботов за скрапинг, получивший название Pay Per Crawl. Ранее в этом месяце компания изменила свою политику, согласно которой «краулеры смешанного использования», то есть те, которые одновременно индексируют и обучаются на контенте сайта, по умолчанию блокируются на всех страницах, где размещена реклама.
Patreon сообщает, что расширяет свое сотрудничество с Cloudflare, используя технологию AI Crawl Control для обновления политик и инструментов контроля в отношении AI. Разница в том, что вместо простого запроса к AI-краулерам не сканировать контент с помощью файла robots.txt — стандартного способа указать ботам, как они могут использовать сайт, — Patreon теперь активно блокирует AI-ботов для обучения.
«Согласие не должно зависеть от того, решит ли скрапер вести себя хорошо», — объясняется в блоге Patreon, ссылаясь на более строгие меры.
При тестировании функций еженедельные попытки отдельных AI-краулеров для обучения получить доступ к Patreon сократились с «тысяч попыток до нуля», отмечается в посте. Это указывает на то, что AI-скраперы игнорировали файл robots.txt Patreon и все равно сканировали сайт, несмотря на его запросы.
Однако компания заявила, что разрешит работу ботов, которые индексируют страницы и систематизируют информацию, чтобы направлять пользователей обратно на Patreon.
«Поскольку AI-агенты становятся все более мощными и популярными, создатели должны иметь решающий голос в том, как их работы используются AI-компаниями», — отметил директор по продуктам Patreon Дрю Роуни в своем заявлении. «На большей части интернета создатели вынуждены соглашаться на обучение AI на своих работах, просто чтобы охватить и увеличить аудиторию. У Patreon другое видение: создатели должны иметь возможность расширять свою аудиторию и контролировать использование своих работ».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Sarah Perez
