Авиадиспетчер, наблюдающий за загруженным экраном, рано или поздно упустит один-единственный самолет, который имеет значение. Устойчивое внимание ослабевает под нагрузкой — это предел, который в авиации назвали «снижением бдительности» и вокруг которого строились решения в течение семидесяти лет.
ИИ посадил каждого работника умственного труда в это кресло. Теперь вы управляете дюжиной самолетов одновременно: шесть открытых разговоров, агент, готовящий черновик в фоновом режиме, еще три ожидают, и кто-то называет это эффективностью. Ваш экран — это ваш почтовый ящик. Снижение бдительности не заботит тот факт, что вам сказали держать темп.
Что сделала авиация
Авиация не ответила на снижение бдительности, призывая диспетчеров концентрироваться сильнее. Она построила машину, которая наблюдает сама по себе, а затем позволила машине отменять решения человека.
Реакцией авиации стало правило, которое до сих пор действует в каждом кабине пилота: когда машина и человек не согласны, следуйте указаниям машины. И обратите внимание, что это была за машина. Система предотвращения столкновений не читает намерений; она вычисляет два пересекающихся курса и выдает сигнал. Авиация не учила экипажи доверять умной машине. Она научила их подчиняться глупой, но точной.
Безопасность сделала противоположную ставку
Безопасность сделала противоположную ставку. В течение 30 лет последней линией обороны был человек, замечающий, что сообщение неверно. ИИ только что сделал эту ставку дважды проигрышной.
Во-первых, он стер «подсказку».В одном контролируемом исследовании Брюс Шнайер и Фредрик Хайдинг обнаружили, что ИИ может снизить стоимость фишинговой кампании более чем на 95 процентов, при этом сохраняя уровень кликов, сравнимый с командой опытных специалистов. Неуклюжая, полная опечаток приманка, на которую мы учили людей реагировать, исчезает.
Во-вторых, ИИ стер внимание, посадив каждого читателя в кресло диспетчера. Переключение внимания ухудшает его, поэтому мы просим перегруженного диспетчера поймать тот единственный враждебный самолет на экране, который авиация уже доказала, что они упустят.
Наша проблема сложнее. Пересекающийся самолет не пытается скрыться; он отображается на экране именно таким, какой он есть. Мошеннический перевод построен так, чтобы выглядеть законным, и противник может выбрать момент, когда вы наиболее загружены. Машина авиации должна была превзойти человеческую усталость. Наша должна превзойти противника.
Следите за теми, кто может вас убить
Вы не можете одинаково следить за всеми самолетами, поэтому следите за теми, которые могут вас убить, а данные об угрозах указывают, какие это.
ФБР зафиксировало 21 442 жалобы на компрометацию деловой электронной почты в 2024 году из общего числа 859 532 жалоб, однако на долю BEC пришлось 2,77 миллиарда долларов из 16,6 миллиарда долларов убытков, заявленных за год. Эти атаки составляют небольшую долю инцидентов, но непропорционально большую долю ущерба, поскольку они приводят к значительным действиям: переводу средств, изменению банковских реквизитов, сбросу учетных данных. Редкие и труднообратимые.
Именно здесь правило авиации действительно применяется, и оно применяется к глупой машине. Охраняйте эти действия чем-то, что срабатывает при самом событии, а не при его интерпретации человеком: обязательный обратный звонок на известный номер при любом изменении банковских реквизитов, двойной контроль при переводе средств, жесткий порог, выше которого платеж останавливается автоматически.
Ничего из этого не ново. Эти меры контроля раньше служили «ремень и подтяжки» за почтовым фильтром, который ловил очевидную приманку. «Подсказка» исчезает, поэтому эти меры контроля должны нести большую нагрузку. Как и система предотвращения столкновений, они не читают намерений никого. Они срабатывают при действии, каждый раз, и никого не просят быть умным.
То, что они упускают, — это перевод, который уже является связным: запрос от подлинно скомпрометированной цепочки поставщика, правильный во всех деталях, который обратный звонок подтверждает, потому что мошенник также держит другой конец. Поймать это означает судить, имеет ли действие смысл в контексте — это задача противника, которую система предотвращения столкновений никогда не должна была решать.
Вот где правило авиации перестает переноситься, по крайней мере, на данный момент. Вы не можете никому сказать следовать этой машине, потому что это не глупый, точный тип. Она угадывает в тумане противоборства, и неправильное предположение останавливает реальный перевод. Любая машина на пути к деньгам заслуживает своего места только в том случае, если она достаточно тиха, чтобы ей доверяли, и достаточно дешева, когда ошибается, чтобы казначейство не обошло ее.
Шумная машина просто перемещает снижение бдительности на резервного сотрудника, который обрабатывает свои оповещения по тому же графику, по которому диспетчер упустил сигналы. Надежность, необходимая для того, чтобы когда-либо сказать «следуйте за машиной», — это проблема, которую безопасность все еще должна решить.
Вопрос, на который стоит ответить
Авиация реформировалась, потому что цена притворства обернулась крушением на поле с 71 именем на нем. Цена безопасности тише: перевод средств и переданная личность, поэтому мы продолжаем просить людей делать то единственное, что, как доказала авиация, они не могут: служить надежной последней линией против редкого события, погребенного в рутине. ИИ сделал эту ставку еще хуже.
Дисциплина, которая первой усвоила это, не требовала большей бдительности. Она построила контроль вокруг моментов, когда сбой имел наибольшие последствия, и перестала полагаться на перегруженного человека, чтобы поймать каждое опасное событие.
У безопасности уже есть своя версия глупой машины: средства контроля, которые срабатывают при действии, независимо от того, распознает ли кто-либо атаку. Машина, которая читает намерения, должна заслужить такое же доверие, прежде чем кто-либо последует ее указаниям.
Таким образом, вопрос не в том, обращают ли ваши люди внимание. Авиация могла бы сказать вам десятилетия назад, что в конечном итоге они этого делать не будут. Вопрос в том, стоит ли на пути в момент, когда кто-то собирается перевести деньги или передать личность, что-то, кроме человека, надеющегося заметить.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Alan LeFort
