Один из самых необычных уголков Интернета внезапно стал труднодоступен в Bing, после того как поисковая система необъяснимым образом начала блокировать примерно 1,5 миллиона независимых веб-сайтов, размещенных на Neocities.
Neocities, основанный в 2013 году для архивирования «эстетического великолепия сайтов GeoCities», поддерживает дух Интернета 1990-х годов. Он позволяет пользователям создавать бесплатные веб-сайты без опоры на стандартизированные шаблоны, лишенные индивидуальности. Для сотен тысяч людей, создающих сайты об искусстве, нишевых фандомах и специальных знаниях — или просто ищущих место, чтобы «немного пошалить в сети» — Neocities предоставляет чистый холст, который можно бесконечно персонализировать по сравнению со страницей в Facebook. Довольные посетители, обнаруживающие эти сайты, скорее будут ориентироваться, наводя курсор на паутину вращающихся GIF-изображений, чем кликая по меню-гамбургеру или бесконечно прокручивая.
Именно такой стиль Интернета стремится поддерживать Кайл Дрейк, основатель Neocities. Поэтому он был удивлен, когда прошлым летом заметил, что Bing странным образом блокирует сайты Neocities. Сначала проблема казалась решенной после обращения в Microsoft, но получив более свежие сообщения о трудностях со входом в систему, Дрейк обнаружил, что в январе была реализована еще одна полная блокировка. Что еще более тревожно, он увидел, что после удаления главной страницы из индекса Bing начал направлять пользователей на сайт-клон, где, к его ужасу, они предоставляли свои учетные данные для входа.
Анализируя статистику, Дрейк был потрясен, увидев, что трафик из Bing внезапно упал с примерно полумиллиона ежедневных посетителей до нуля. Он немедленно сообщил о проблеме, используя инструменты для веб-мастеров Bing. Опасаясь, что Bing не только нарушает трафик, но и ставит под угрозу пользователей Neocities, если злоумышленники манипулируют результатами поиска, он надеялся на скорейшее решение.
«Этот один сайт, который был просто копией нашей главной страницы, я не знал, была ли это фишинговая атака или что это вообще, я просто подумал: «Ух ты, что за чертовщина?» — рассказал Дрейк Ars.
,
Однако шли недели, и Дрейк натыкался на одну стену за другой, подав почти дюжину заявок, пытаясь обойти чат-бота Bing, чтобы найти сотрудника поддержки для решения проблемы. В отчаянии он также использовал другие внутренние каналы, в том числе предлагал купить рекламу, чтобы увидеть, сможет ли помочь сотрудник рекламного отдела.
«Я перепробовал все», — сказал Дрейк, но ничего не помогло. Сайты Neocities оставались неиндексированными в Bing.
Хотя Bing занимает лишь около 4,5 процента мирового рынка поисковых систем, Дрейк назвал «неловким» тот факт, что сайты Neocities невозможно найти с помощью стандартной поисковой системы Windows. Он также отметил, что многие другие поисковые системы лицензируют данные Bing, что еще больше усугубляет проблему.
В конечном итоге это затрагивает многих людей, сказал Дрейк, но он подозревает, что его заявки на поддержку погребены, вероятно, под триллионами запросов ежедневно от людей, желающих улучшить свою индексацию в Bing.
«Вероятно, в Bing есть реальный человек, который мог бы это исправить, — сказал Дрейк Ars, — но когда вы заходите в инструменты для веб-мастеров», вы вынуждены общаться с чат-ботом, и «все это как-то автоматизировано».
Ars обратился за комментарием к Microsoft, и компания предприняла действия по снятию некоторых необоснованных блокировок.
В течение 24 часов главная страница Neocities появилась в результатах поиска, но в течение следующих нескольких дней Дрейк провел тесты, которые показали, что большинство поддоменов все еще блокируются, включая популярные сайты Neocities, которые должны получать высокие рейтинги.
При дальнейшем расследовании Microsoft подтвердила, что некоторые сайты Neocities были исключены из индекса за нарушение правил, предназначенных для исключения низкокачественных сайтов из результатов поиска.
Однако Microsoft не указала, какие сайты были проблемными, и не связалась напрямую с Neocities для решения, казалось бы, значительного количества продолжающихся блокировок сайтов, которые, по-видимому, не связаны с нарушениями. Вместо этого Microsoft рекомендовала Neocities найти способ работать напрямую с Microsoft, несмотря на подтверждение Ars, что Microsoft в настоящее время игнорирует открытую заявку.
,
Для Дрейка «текущее положение дел неизвестно». Трудно сказать, заблокированы ли все еще популярные сайты Neocities, или, возможно, процесс переиндексации Bing медленный. Microsoft отказалась дать пояснения.
Он по-прежнему надеется, что Microsoft в конечном итоге устранит все необоснованные блокировки, сделав возможным для пользователей Bing использовать поисковую систему не только для поиска компаний или информации, но и для обнаружения творческих людей, создающих веб-сайты просто для удовольствия. С таким количеством «ИИ-мусора», вторгающегося в социальные сети и поисковые системы, Дрейк рассматривает Neocities как «один из последних бастионов человеческого контента».
«Я надеюсь, что мы сможем решить это полюбовно для нас обоих и что это больше не повторится в будущем, — сказал Дрейк. — Это действительно важно для будущего малого веба и для качественного контента для веб-серферов во все более генеративном ИИ-мире, чтобы творческие сайты, созданные реальными людьми, могли получить справедливый шанс в результатах поисковых систем».
Bing понизил рейтинг предположительно фишингового сайта
После того как Дрейк не смог тихо решить проблему с Bing, он почувствовал, что у него нет другого выбора, кроме как предупредить пользователей о потенциальных рисках, связанных с исключением сайтов из индекса Bing.
В посте в блоге в конце января Дрейк предупредил, что Bing «полностью заблокировал» все поддомены Neocities из своего поискового индекса. Хуже того, «Bing также размещал на первой странице результатов поиска то, что выглядело как фишинговая атака на Neocities», — сказал Дрейк.
«Это не только плохо для результатов поиска, но и вполне возможно, что это активно опасно», — сказал Дрейк.
После «нескольких» жалоб Bing в конечном итоге понизил рейтинг предположительно фишингового сайта, подтвердил Дрейк. Но Bing «отказался отменить блокировку или предоставить четкое, действенное объяснение», что оставляет пользователей Neocities уязвимыми, сказал он.
,
Поскольку «легче получить более высокий pagerank, чем заблокированный сайт», Дрейк предупредил, что «возможно, лишь вопрос времени, когда другой вызывающий беспокойство сайт появится в результатах поиска Bing по запросу Neocities».
В блоге подчеркивалось, что Google, крупнейший источник трафика платформы, не блокирует Neocities, как и ни одна поисковая система, не связанная с данными Bing. Призывая к бойкоту, который может заставить принять меры, Дрейк написал: «Мы рекомендуем пользователям Neocities и Интернету в целом не использовать Bing или поисковые системы, которые получают результаты из Bing, до тех пор, пока эта проблема не будет решена.
«Если вы используете Bing или поисковые системы на базе Bing, сайты Neocities не будут отображаться в ваших результатах поиска, независимо от качества контента, оригинальности или соответствия рекомендациям для веб-мастеров», — сказал Дрейк. «Если какие-либо сайты, похожие на Neocities, появятся в этих результатах, они могут быть активными фишинговыми атаками на Neocities, и к ним следует относиться с осторожностью».
Bing продолжает блокировать популярные сайты Neocities
Дрейк не хочет бойкотировать Bing, но в своем блоге он заявил, что Microsoft не оставила ему выбора, кроме как предать дело огласке:
«Мы не хотели писать этот пост. Мы очень стараемся наладить хорошие отношения с поставщиками поисковых систем. Мы бы предпочли тихо решить эту проблему с сотрудниками Bing и двигаться дальше. Но после месяцев конструктивных попыток наладить контакт через многочисленные каналы стало ясно, что молчание только вредит нашим пользователям. Особенно тем, кто не осознает, что их сайты невидимы в некоторых поисковых системах».
Дрейк рассказал Ars, что, по его мнению, большинство людей не осознают, насколько большим стал Neocities с момента своего появления, возрождая дух GeoCities. Платформа размещает 1 459 700 веб-сайтов, которые привлекли 13 миллиардов посетителей. За эти годы о ней писали в Wired и The New York Times, а в последнее время она стала популярным центром для игровых сообществ, как сообщал Polygon.
,
По мере роста Neocities, как рассказал Дрейк Ars, большая часть его усилий была направлена на улучшение модерации контента. Он тесно сотрудничает с выделенным штатным сотрудником по модерации контента, чтобы оперативно удалять любые проблемные сайты в течение 24 часов, сказал он. Эта работа включает в себя рассмотрение жалоб и проактивный скрининг новых сайтов, причем Дрейк отмечает, что «наш поставщик доменных имен требует их удаления в течение 48 часов».
Microsoft запрещает такие вещи, как скрейпинг контента, который может считаться нарушением авторских прав, или автоматическую генерацию контента с использованием «мусорного текста» для манипулирования рейтингами. Она также отслеживает вредоносное поведение, такое как фишинг, а также атаки типа prompt injection на большие языковые модели Bing.
Неясно, какие именно нарушения обнаружила Microsoft перед полной блокировкой; однако Дрейк сообщил Ars, что он еще не выявил никакого контента, который мог бы ее вызвать. Он сказал, что оперативно удалит любые веб-сайты, помеченные Microsoft, если бы только мог поговорить с кем-то, кто мог бы поделиться этой информацией.
«Естественно, мы все еще не отлавливаем 100 процентов сайтов с помощью проактивной модерации, и иногда некоторые проблемные сайты все же ускользают», — сказал Дрейк.
Хотя Дрейк хотел бы узнать больше о том, что вызвало блокировки, он сообщил Ars, что ясно, что сайты, не нарушающие правила, по-прежнему невидимы в Bing.
Один из самых долгоживущих и популярных сайтов Neocities, Wired Sound for Wired People, является прекрасным примером. Этот странный, несколько жутковатый фан-сайт аниме «очень популярен» и «имеет множество ссылок на него по всему Интернету», — сказал Дрейк. Тем не менее, если вы ищете его поддомен «fauux», сайт больше не появляется в результатах поиска Bing, по состоянию на момент написания, в то время как Google надежно выдает его как лучший результат.
Дрейк сказал, что он по-прежнему считает, что Bing ошибочно блокирует контент, но автоматизированные инструменты поддержки Bing не облегчают защиту создателей, которые случайным образом блокируются одним из крупнейших поисковых движков мира.
«У нас одно из самых низких соотношений мусора к легитимному контенту, созданному человеком, в Интернете, — сказал Дрейк. — И очень расстраивает видеть, что все эти люди, создающие действительно классные сайты, на которые люди хотят зайти, просто недоступны в стандартной поисковой системе Windows».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ashley Belanger
