Creative Commons (CC) наиболее известна своей инициативой в области лицензирования, позволяющей авторам делиться своими работами, сохраняя авторские права. В июле организация объявила о планах по созданию правовой и технической базы для обмена данными между компаниями, контролирующими информацию, и поставщиками ИИ, желающими использовать её для обучения.
Теперь некоммерческая организация предварительно одобрила системы pay-to-crawl (оплата за сканирование), назвав свою позицию «осторожно поддерживающей».
«При ответственном внедрении pay-to-crawl может стать способом для веб-сайтов поддерживать создание и распространение своего контента, а также управлять замещающим использованием, сохраняя доступность контента для общественности там, где иначе он не был бы опубликован или оказался бы за ещё более строгими платными стенами», — говорится в блоге CC.
Идея pay-to-crawl, продвигаемая такими компаниями, как Cloudflare, заключается в том, чтобы взимать плату с ботов ИИ каждый раз, когда они сканируют сайт для сбора контента с целью обучения и обновления моделей.
Ранее веб-сайты свободно разрешали поисковым роботам индексировать свой контент для включения в поисковые системы, такие как Google. Они получали выгоду от такого взаимодействия, видя свои сайты в результатах поиска, что привлекало посетителей и клики. Однако с развитием технологий ИИ эта динамика изменилась. После того как пользователь получает ответ через чат-бот ИИ, он вряд ли перейдёт по ссылке на первоисточник.
Этот сдвиг уже оказал разрушительное воздействие на издателей, сократив поисковый трафик, и не подаёт признаков замедления.
Система pay-to-crawl, напротив, могла бы помочь издателям компенсировать убытки, понесённые из-за влияния ИИ. Кроме того, она могла бы быть более эффективной для небольших веб-издателей, которые не имеют достаточного влияния для заключения индивидуальных сделок на контент с поставщиками ИИ. Крупные сделки были заключены между такими компаниями, как OpenAI и Condé Nast, Axel Springer и другими; а также между Perplexity и Gannett; Amazon и The New York Times; и Meta и различными медиа-издателями, среди прочих, и других.
CC высказала несколько оговорок относительно своей поддержки pay-to-crawl, отметив, что такие системы могут привести к концентрации власти в сети. Они также потенциально могут ограничить доступ к контенту для «исследователей, некоммерческих организаций, учреждений культурного наследия, преподавателей и других субъектов, работающих в общественных интересах».
Была предложена серия принципов для ответственного внедрения pay-to-crawl, включая отказ от установки pay-to-crawl по умолчанию для всех веб-сайтов и избегание универсальных правил для сети. Кроме того, было заявлено, что системы pay-to-crawl должны допускать ограничение скорости доступа (throttling), а не только блокировку, и сохранять доступ для общественных интересов. Они также должны быть открытыми, совместимыми и построенными на стандартизированных компонентах.
Cloudflare — не единственная компания, инвестирующая в сферу pay-to-crawl.
Microsoft также разрабатывает маркетплейс ИИ для издателей, и небольшие стартапы, такие как ProRata.ai и TollBit, также начали этим заниматься. Другая группа, RSL Collective, анонсировала собственный стандарт Really Simple Licensing (RSL), который будет определять, к каким частям веб-сайта могут получать доступ сканеры, но не будет блокировать их. Cloudflare, Akamai и Fastly с тех пор приняли RSL, который поддерживается Yahoo, Ziff Davis, O’Reilly Media и другими.
CC также была в числе тех, кто объявил о своей поддержке RSL, наряду с CC signals — своим более широким проектом по разработке технологий и инструментов для эпохи ИИ.
Автор – Sarah Perez
