Новости: краулеры

Издатели массово рассматривают отключение краулеров Google из-за ИИ. Reddit готов разорвать сделку на $60 млн. Узнайте, какие теги блокировки используют Reuters, USA Today и Politico и почему отказ от индексации станет крупной эскалацией.

Cloudflare предлагает издателям веб-контента новый способ сделать его более доступным для ИИ-краулеров. Вместо сложного HTML можно предлагать простой Markdown, что снижает вычислительные затраты для ИИ. Почему бы не предложить вкусный Markdown вместо жесткого HTML? — theregister.com