На фоневсехнедавнихсообщенийо том, как ИИ-системы самостоятельно выходят из-под контроля и взламывают сторонние организации, легко забыть, что хакеры-люди всё ещё существуют и экспериментируют с ИИ самыми разными злонамеренными способами. Однако новыйотчётBloomberg напоминает, как быстро эволюционирует киберпреступность с использованием ИИ — и насколько мир не готов с ней справляться.
Согласно отчёту, ряд крупных хедж-фондов, включая Citadel и Two Sigma, стали целями недавних атак с использованием голосового фишинга, или «vishing»-атак, при которых ИИ имитирует голоса реальных людей для обхода систем безопасности. Сообщается, что атакам подверглись и несколько частных инвестиционных компаний. Two Sigma сообщила Bloomberg, что успела перехватить атаку до того, как были скомпрометированы внутренние системы; Citadel и Point72 — ещё один хедж-фонд, попавший под атаку, — не ответили на запрос Gizmodo о комментарии.
ИТ-эксперты годами предупреждали, что распространение дешёвых и простых в использовании ИИ-инструментов, имитирующих человеческую речь или создающих другой deepfake-контент, приведёт к росту как серьёзности мошеннических попыток, так и частоты их совершения. Мир ощутил это на себе в 2024 году, когда сотрудница гонконгского филиала международной компании была обманута иперевела более 25,5 млн долларовмошенникам, которые дали ей указание с помощью сгенерированных ИИ deepfake-изображений сотрудников компании, включая её финансового директора.
ИИ-мошенничество также используется для политических манипуляций. Например, прошлым летом кто-то (или группа людей) с помощью ИИвоссоздал голос госсекретаря Марко Рубиои отправил голосовые сообщения иностранным дипломатам и федеральным чиновникам. OpenAI также заявила в июньском отчёте, что группа мошенников, предположительно поддерживаемая китайским правительством,незаконно использовала ChatGPTдля создания провокационного контента в соцсетях, направленного на разжигание недовольства американцев центрами обработки данных — энергетической основой ИИ-индустрии США.
Тем временем рыночные давления ИИ-гонки в сочетании с полным отсутствием федерального регулирования подталкивают разработчиков к созданию всё более мощных моделей, в том числе предназначенных для имитации человеческой речи. (Такие инструменты часто рекламируются как «компаньоны», способныеоблегчить одиночество, хотяисследования показали, что иногда они могут давать обратный эффект.) Последняя голосовая модель OpenAI,GPT-Live-1, спроектирована так, чтобы имитировать тонкие нюансы человеческой речи и, в теории, сделать взаимодействие с ИИ менее механически неловким. По замыслу, модель OpenAI не может имитировать голоса реальных людей; это был урок, который OpenAI пришлосьусвоить на горьком опытепосле того, как ранее компания получила публичную критику за выпуск голосовой модели, которая многим напоминала голос Скарлетт Йоханссон.
Всё это говорит о том, что никого не должно удивлять, что vishing-атаки становятся всё более распространёнными. Технологически подкреплённое искусство мошенничества — старая как мир история, и ИИ, пожалуй, самый мощный инструмент в этом отношении. Настоящая загадка — почему не предпринимается больше усилий для создания действительно эффективных средств защиты в системах ИИ, чтобы предотвратить такие атаки изначально.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Webb Wright
