Мошенники любят наполнять интернет фальшивыми номерами клиентской поддержки, чтобы заманить ничего не подозревающих жертв, которые просто пытаются решить какую-то проблему. Аферисты годами использовали для этого Google Поиск, поэтому неудивительно, что они переключились на новую платформу, где люди активно ищут информацию: чат-боты с искусственным интеллектом.
Компания Aurascape, специализирующаяся на кибербезопасности в сфере ИИ, опубликовала новый отчёт о том, как мошенники внедряют свои телефонные номера в системы на базе больших языковых моделей (LLM). В результате номера мошенников появляются в качестве авторитетных ответов на запросы контактной информации в приложениях ИИ, таких как Perplexity или Google AI Overviews. И когда кто-то звонит по этому номеру, он общается не со службой поддержки, скажем, Apple, а с мошенниками.
По данным Aurascape, мошенники используют для этого множество различных тактик. Один из способов — размещение спам-контента на доверенных веб-сайтах, таких как правительственные, университетские и известные ресурсы, использующие WordPress. Этот метод требует получения доступа, что может быть сложно, но не невозможно.
Более простой вариант — размещение спам-контента на пользовательских платформах, таких как YouTube и Yelp, или других сайтах, позволяющих оставлять отзывы. Мошенники внедряют свои телефонные номера, но включают все возможные поисковые запросы, которые помогут номеру найти целевую аудиторию, например: «номер службы поддержки Delta Airlines» и бесчисленные вариации.
Всё это является обычным делом для мошенников, пытающихся улучшить результаты поиска Google. Однако Aurascape отмечает, что именно структура данных может отличать контент для LLM. Размещая вероятные поисковые запросы в форматах резюме, которые ИИ любит предоставлять, они повышают шансы на успех, поскольку эти чат-боты сканируют интернет в поисках ответа.
В новом отчёте упоминаются оптимизация генеративных движков (GEO) и оптимизация поисковых систем ответов (AEO) как отличительные от SEO методы, побуждающие ИИ извлекать контент и воспринимать его как авторитетный из-за способа его представления. Важно отметить, что мошеннический контент, описанный в отчёте Aurascape, просто извлекается и воспроизводится в контексте вывода конкретного ИИ, а не искажает саму LLM.
«Для традиционного SEO цель — появиться высоко в списке результатов поиска», — объясняет компания. «Для GEO/AEO цель более прямая: стать единственным фрагментом контента, который ИИ-ассистент выбирает, обобщает и представляет в качестве «ответа».
Как подробно описано в отчёте, мошенники используют методы GEO/AEO в HTML и PDF-файлах, загруженных на сайты с высоким уровнем доверия, путем:
- Совпадения точных формулировок вероятных пользовательских вопросов
- Использования простых форматов вопросов и ответов или списков, которые легко парсятся моделями
- «Номер для бронирования Emirates: +1 (833) 621‑7070»
- Многократного повторения одного и того же названия бренда и номера телефона в документе
- Встраивания контента на авторитетные или доверенные домены (например, скомпрометированные .gov, .edu или популярные сайты WordPress)
Указанный номер бронирования Emirates — один из многих примеров, которые Aurascape приводит в отчёте, чтобы показать, как Perplexity выдавал мошеннический номер телефона во время тестов. Функция Google AI Overviews также выдавала фальшивые номера.
Gizmodo провёл быстрое тестирование и не смог воспроизвести выдачу фальшивого номера клиентской поддержки. Но, похоже, компании, занимающиеся ИИ, начинают обращать на это внимание, особенно учитывая конкретные тесты, проведённые для этого отчёта Aurascape.
Когда Gizmodo запросил у Perplexity номер службы поддержки Emirates Airlines, бот ответил:
Самый безопасный способ связаться с Emirates для бронирования — использовать официальные каналы связи, указанные на веб-сайте Emirates, а не сторонние номера, которые появляются в результатах поиска или PDF-файлах, часто являющиеся спамом или агентскими линиями, выдаваемыми за «официальные».
Gizmodo настоял, чтобы бот просто предоставил номер, но тот ответил:
В интернете существует множество противоречивых номеров «бронирования Emirates», и многие из них на самом деле являются сторонними агентствами, а не самой Emirates, поэтому ни одному из номеров +1-(8xx), указанных в общих руководствах, нельзя доверять как официальной линии.
Бот посоветовал нам посетить emirates.com, чтобы найти номер. И, полагаем, это один из способов борьбы с тем, что ваш ИИ-чат-бот распространяет дезинформацию и спам. Просто запретить ему распространять определённые типы информации.
Ещё в 2022 году мы писали о различных мошеннических веб-сайтах, которые успешно заставляли жертв скачивать то, что они считали драйверами для принтеров Canon. Хотя новый отчёт Aurascape не касался драйверов для скачивания как потенциального вектора атаки, мы можем предположить, что мошенники уже пробуют это.
В конце концов, чат-ботам с искусственным интеллектом можно доверять только тогда, когда они показывают свои источники. Но обратной стороной этого является необходимость того, чтобы чат-бот предоставлял гиперссылки, по которым информацию можно было бы проверить. Или, в данном гипотетическом случае, где можно было бы скачать программное обеспечение. Просто убедитесь, что вы внимательно изучаете URL. Существует большая разница между usa.canon.com и canon.com-ijsetup.com. Последний является фишинговым сайтом.
«Наше расследование показывает, что злоумышленники уже масштабно используют эту новую сферу, размещая отравленный контент на скомпрометированных государственных и университетских сайтах, злоупотребляя пользовательскими платформами, такими как YouTube и Yelp, и создавая спам, оптимизированный под GEO/AEO, специально разработанный для влияния на то, как большие языковые модели извлекают, ранжируют и обобщают информацию», — пишет Aurascape.
«В результате появляется новый класс мошенничества, в котором сами системы ИИ становятся непреднамеренными усилителями мошеннических телефонных номеров. Даже когда модели дают правильные ответы, их ссылки и уровни извлечения данных часто свидетельствуют о воздействии загрязнённых источников. Это говорит нам о том, что проблема не ограничивается одной моделью или одним поставщиком — она становится системной».
Автор – Matt Novak
