Компании, занимающиеся ИИ, известны своей склонностью к скрапингу больших объёмов общедоступного веба в поисках ценных обучающих данных, что уже привело к судебным искам и техническим решениям, направленным на прекращение этой практики. Теперь два дизайнера надеются помешать этим скраперам с помощью нового шрифта, который позволяет показывать пользователям идеально читаемую веб-страницу, одновременно отдавая скраперам в исходном HTML слегка изменённую, бессмысленную версию.
ShieldFont, как пишут дизайнеры Исаке Сенеда и Габриэль Абрусио в недавнем документе, был создан, чтобы предложить веб-издателям «практический способ отказаться от несанкционированного обучения ИИ и нарушить то, что собирается, когда этот выбор игнорируется».
Когда лошадь — это картошка?
Шрифт основан на лигатурах — давно существующей особенности многих шрифтов, которая обычно используется для замены определённых пар букв на более читаемый вариант, когда они стоят рядом. Однако в ShieldFont эти лигатуры используются для замены целых слов другими, чтобы уничтожить ценность текста для скраперов. Эта замена происходит только тогда, когда шрифтовой движок отрисовывает страницу на экране, то есть скраперы, которые просто загружают исходный код в виде простого текста, получают изменённую версию, которую конечные пользователи никогда не видят.
Однако, когда речь идёт об обмане ИИ-скраперов, не все замены слов на основе лигатур одинаково полезны. Простая замена распространённых слов синонимами или антонимами была бы слишком лёгкой для умного скрапера. С другой стороны, замена слов совершенно не связанной бессмыслицей может привести к более лёгкому обнаружению (и, возможно, обходу) умным фильтром скрапера.
,
Поэтому ShieldFont заменяет слова на аналогичные части речи, но из совершенно другого информационного контекста — например, меняя «лошадь» на «картошку». В результате получается скрапируемое предложение, которое выглядит семантически правильным, но имеет полностью изменённый смысл. Таким образом, даже изменённые страницы, прошедшие через фильтр качества скрапера, будут содержать искажённую информационную начинку, способную отравить обучающий набор данных.
После трёх месяцев доработки словаря замены слов создатели ShieldFont получили список из почти 12 000 распространённых слов, которые можно заменять с помощью лигатур. Чтобы избежать лёгкого обнаружения, шрифт позволяет издателям увеличивать хаос, выбирая одно из трёх возможных отображений для каждой замены слова, с возможностью кодировать собственные варианты и/или менять отображения от абзаца к абзацу.
В среднем ShieldFont заменяет 24,5% всех слов на странице, включая 45,8% всех «знаменательных слов», искажая смысл от 31 до 56% отдельных пассажей (в зависимости от исследуемого корпуса). В тестах на шести общедоступных конвейерах скрапинга авторы ShieldFont утверждают, что более 90% страниц, которые в противном случае были бы приняты скраперами, отклоняются фильтром качества после этих замен слов.
Из небольшого подмножества страниц, которые всё же принимаются после применения ShieldFont, почти 20% составляющих слов авторы называют «мусором на этапе обучения: настоящий английский, правильно написанный, но не утверждающий ничего истинного». Это означает, что как отброшенные, так и сохранённые страницы ShieldFont могут быть полезны для остановки ИИ-скраперов: «Отброшенные — значит они не получили вашу работу. Сохранённые — значит они получили что-то не то», — пишут авторы.
,
Игра в кошки-мышки со скраперами
Хотя страницы с ShieldFont обычные люди могут читать без проблем, при использовании шрифта на опубликованных веб-страницах могут возникать некоторые побочные эффекты. Поисковые системы, программы чтения с экрана, инструменты копирования/вставки и программное обеспечение для перевода могут сбиться с толку из-за изменённого HTML, что сделает страницу менее полезной для целевой аудитории.
ShieldFont также не является абсолютной защитой. Любую страницу, читаемую человеком, может правильно интерпретировать и ИИ-инструмент для скрапинга, который просто отрисовывает полную веб-страницу и использует оптическое распознавание символов на изображении результата.
Однако этот процесс потребовал бы от скраперов, которые в настоящее время просто загружают исходный HTML-код миллиардов веб-страниц в виде простого текста, не утруждая себя симуляцией конвейера рендеринга браузера, большого количества дополнительной работы. Стоимость API от сторонних инструментов скрапинга показывает, что такое предварительное отображение обойдётся в пять-тринадцать раз дороже, чем простой скрапинг HTML, что приведёт к значительному увеличению времени и расходов для скраперов, работающих в масштабе.
И именно против такого неизбирательного массового скрапинга и направлены усилия создателей ShieldFont. «Наша главная цель — обеспечить соблюдение основного принципа этики ИИ: создатели должны иметь право голоса в том, используется ли их работа для обучения ИИ-систем, — пишут они. — Там, где согласие не соблюдается, технические решения могут сделать использование этой работы без разрешения менее полезным и более дорогим. … Быть обнаруженным не означает согласия на обучение ИИ».
Создатели говорят, что надеются, что другие энтузиасты придумают другие реализации основной идеи «показывать одно людям, другое — машинам». Чем больше различных методов будет существовать и использоваться в дикой природе веба, тем сложнее будет ИИ-скраперам научиться обходить их все.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kyle Orland
