Это означает, что сканеры, которые совмещают поиск, использование агентов и обучение, по умолчанию будут заблокированы от сканирования этих сайтов, если владелец сайта не изменит настройки. Эти изменения в настройках по умолчанию будут применяться к новым клиентам Cloudflare, новым сайтам, настроенным существующими клиентами, и всем существующим бесплатным клиентам, заявляет компания.
Этот шаг может повлиять на то, как поставщики моделей ИИ получают доступ к веб-контенту для целей обучения и для поддержки своих агентских сервисов.
Cloudflare отмечает, что большинство владельцев веб-сайтов хотят, чтобы их контент был обнаруживаем через поиск, а часто и через сервисы ИИ, но они хотят защиты от бесплатной передачи их интеллектуальной собственности.
Cloudflare особо выделяет «крупнейшую в мире поисковую систему» (очевидно, имеется в виду Google!), которая имеет доступ примерно к «в два раза большему объему информации», чем другие компании, занимающиеся ИИ, поскольку поисковый гигант затрудняет клиентам сохранение обнаруживаемости без использования их контента для ИИ.
Google в прошлом возражал против этого обобщения, отмечая, что предоставляет бота под названием Google Extended, который позволяет владельцам сайтов отказаться от использования их контента для обучения и продуктов и сервисов ИИ, таких как Gemini Apps и Vertex API. Его использование не влияет на включение сайта в Google Поиск. Однако флагманский Googlebot техгиганта сканирует для Поиска, включая функции ИИ, такие как AI Overviews и AI Mode.
«Теперь, когда большая часть трафика в Интернете не является человеческой, мы должны пойти дальше и действовать быстрее, чтобы могла возникнуть устойчивая экосистема», — заявил соучредитель и генеральный директор Cloudflare Мэттью Принс в своем объявлении об этой новости, ссылаясь на недавнюю веху когда боты впервые превзошли человеческий трафик в сети. Ожидалось, что этот сдвиг произойдет не раньше следующего года.
«Новые инструменты и партнерства Cloudflare предоставляют владельцам веб-сайтов расширенную видимость и коммерческие возможности, а также приносят пользу компаниям, занимающимся ИИ, у которых есть боты с четкими и прозрачными намерениями. Мы надеемся, что наши предложенные изменения по умолчанию побудят сканеры смешанного использования разделять поиск от использования агентов и обучения», — сказал Принс.
Хотя Cloudflare предлагает ряд продуктов, помогающих пользователям запускать собственные системы ИИ, компания также выпустила ряд инструментов, чтобы предоставить издателям больше контроля над своим контентом в эпоху ИИ. В последние годы Cloudflare выпустила инструменты для борьбы с ботами ИИ, включая маркетплейс, который позволяет веб-сайтам взимать плату с ботов ИИ за скрапинг, получивший название Pay Per Crawl.
Последний также теперь развивается в «Pay Per Use» (Оплата за использование), сообщила компания, что позволит издателям взимать плату с компаний, занимающихся ИИ, когда их контент создает ценность, а не только когда он извлекается.
Это изменение также может помочь сохранить пропускную способность и вычислительные ресурсы издателей для поставщиков моделей ИИ, поскольку данные Cloudflare показали, что более 50% трафика сканирования от ИИ-сканеров тратится на повторное извлечение неизмененных страниц.
Для практической реализации Cloudflare изначально работает с двумя партнерами: Ceramic.ai и You.com. Когда издатель соглашается, ему платят, когда его контент появляется в результатах поиска ИИ Ceramic или когда You.com получает доступ к части его премиум-контента.
Другие компании, занимающиеся ИИ, могут настроить эту модель в соответствии со своим способом работы, заявляет Cloudflare.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Sarah Perez
