На прошлой неделе в средней школе Флориды был объявлен режим полной изоляции после того, как система безопасности на базе искусственного интеллекта ZeroEyes приняла кларнет за пистолет, что вновь вызвало критику в адрес дорогостоящих решений для обеспечения спокойствия, предлагаемых школам.
Человеческая проверка ошибочного сигнала, сгенерированного ИИ, не помешала полиции прибыть в среднюю школу Лоутон Чайлз. Полицейские ожидали найти «мужчину в здании, одетого в камуфляж, с „подозреваемым оружием, направленным по коридору, удерживаемым в положении приклада к плечу“», — говорится в обзоре полицейского отчета, проведенном The Washington Post.
Вместо этого, не найдя никаких доказательств стрелка, полиция перепроверила информацию с диспетчерами, которые подтвердили, что при более внимательном рассмотрении изображений стало ясно, что «подозреваемый винтовка могла оказаться музыкальным инструментом». Среди паникующих учеников, прятавшихся в музыкальном классе, полиция в конце концов обнаружила подозреваемого — ученика, «одетого в костюм военного персонажа из рождественского фильма „Красный один“ для школьного дня переодеваний на рождественскую тематику», сообщила газета Post.
Соучредитель ZeroEyes Сэм Алаимо заявил Post, что ИИ в данном случае сработал именно так, как должен был, руководствуясь принципом «лучше перестраховаться, чем потом жалеть». Представитель ZeroEyes сообщил Ars, что «сотрудники службы безопасности школ, директора и заведующие отделами постоянно просят нас быть проактивными и пересылать им оповещение, если есть хоть малейшее сомнение в реальности угрозы».
«Мы не считаем, что совершили ошибку, как и школа», — сказал Алаимо. «Лучше было вызвать полицию, чем не вызывать».
Полиция уехала после того, как озадаченный ученик подтвердил, что «не знал», что способ, которым он держал свой кларнет, мог вызвать срабатывание сигнализации, сообщила Post. Однако представитель ZeroEyes утверждал, что он «намеренно держал инструмент в положении приклада к плечу». И, по-видимому, вместо того, чтобы выяснять, почему изображения не были более тщательно проверены, чтобы предотвратить ложную тревогу в кампусе, школа, похоже, согласилась с ZeroEyes и обвинила ученика.
«Мы не совершили ошибки, и школа была довольна обнаружением и их реакцией», — заявил представитель ZeroEyes.
В письме родителям директор Мелисса Лаудани, как сообщается, написала родителям: «Хотя угрозы кампусу не было, я хотела бы попросить вас поговорить с вашим учеником об опасностях притворства, что у вас есть оружие на территории школы». В том же духе, сотрудник по связям с общественностью школьного округа Семинол (SCPS) Кэтрин Крнкович подчеркнула в электронном письме Ars: «Пожалуйста, убедитесь, что отмечено, что этот ученик не просто нес кларнет. Этот человек держал его так, как будто это было оружие».
Однако предупреждение учеников об опасности размахивания обычными предметами, как оружием, не является идеальным решением. Видеозаписи из техасской средней школы в 2023 году показали, что ZeroEyes иногда может принимать тени за оружие, случайно помечая ученика, просто входящего в школу, как потенциальную угрозу. Этот совет также игнорирует тот факт, что в прошлом году ZeroEyes, как сообщается, вызвал режим изоляции и полицейскую реакцию после обнаружения двух театральных детей, использующих бутафорское оружие для репетиции пьесы. Аналогичный инструмент ИИ под названием Omnilert попал в заголовки национальных новостей, приняв пустой пакет Doritos за пистолет, что привело к аресту 14-летнего второкурсника из Балтимора. В том случае ученик рассказал Американскому союзу гражданских свобод, что он просто держал чипсы, когда ИИ отправил «около восьми полицейских машин», чтобы задержать его.
Годами эксперты по безопасности школ предупреждали, что инструменты ИИ, такие как ZeroEyes, поглощают значительные ресурсы, несмотря на то, что они «непроверены», сообщила Post. Представитель ZeroEyes сообщил Ars, что «в большинстве случаев клиенты ZeroEyes никогда не получают «ложного срабатывания», но компания не раскрывает, сколько ложных срабатываний она получает и сколько оружия было обнаружено. В разделе часто задаваемых вопросов лишь отмечается, что «мы всегда стремимся минимизировать ложные срабатывания и постоянно совершенствуем наши обучающие модели на основе собранных данных». В марте, когда некоторые студенты начали задавать вопросы о ZeroEyes после того, как он обнаружил игрушечный пистолет в университете Пенсильвании, находящаяся поблизости частная школа для детей от детского сада до 12 класса, Germantown Academy, подтвердила, что ее «система часто делает «нелетальные» обнаружения».
Один из критиков, консультант по безопасности школ Кеннет Трамп, в октябре предположил, что эти инструменты являются «театром безопасности», а такие фирмы, как ZeroEyes, лоббируют использование налоговых денег, полагаясь на то, что ACLU назвала «вводящим в заблуждение» маркетингом, чтобы убедить школы в том, что их инструменты являются проактивными решениями для предотвращения массовых расстрелов в школах. По-видимому, в ответ на эту негативную реакцию StateScoop сообщила, что через несколько дней после начала расследования ZeroEyes в 2024 году компания удалила из своих часто задаваемых вопросов утверждение о том, что ZeroEyes «может предотвращать инциденты с активными стрелками и массовые расстрелы».
В средней школе Лоутон Чайлз «дети никогда не подвергались опасности», подтвердила полиция, но эксперты ставят под сомнение, не вызывают ли ложные срабатывания у учащихся неоправданный стресс и подозрительность, возможно, принося больше вреда, чем пользы, в отсутствие исследований эффективности. По мнению некоторых критиков, школам было бы лучше направить ресурсы на услуги в области психического здоровья, которые доказали свою пользу для детей.
Письмо Лаудани призывало родителей задавать любые вопросы об инциденте, но трудно оценить, кто именно расстроен. На вопрос о том, беспокоятся ли родители и вызывал ли ZeroEyes когда-либо режим изоляции в других школах SCPS, Крнкович ответила Ars, что SCPS «не раскрывает подробностей о конкретных системах безопасности школ, которые мы используем».
Однако ясно, что SCPS надеется расширить использование ZeroEyes. В ноябре сенатор штата Флорида Кит Труэноу подал запрос на установку «значительно большего количества камер» — около 850 — оснащенных ZeroEyes по всему школьному округу. Труэноу подкрепил свой запрос на финансирование в размере 500 000 долларов в течение следующего года, заявив, что «чем больше охват [ZeroEyes], тем лучше ученики будут защищены от потенциального насилия с применением огнестрельного оружия».
ZeroEyes является одним из самых популярных инструментов, привлекающих значительные инвестиции от школ в 48 штатах, которые надеются, что обнаружение оружия с помощью ИИ поможет предотвратить массовые расстрелы в школах. Технология ИИ встроена в камеры видеонаблюдения, обучена на изображениях людей, держащих оружие, и якобы может «обнаруживать даже восьмую долю дюйма пистолета», сообщила дочерняя компания ABC в Нью-Йорке.
При постоянном мониторинге этих систем люди проверяют сигналы ИИ, а затем отправляют текстовые сообщения с любыми обнаруженными подозрительными изображениями заведующим школами. Полиция оповещается, когда человеческая проверка определяет, что изображения могут представлять реальную угрозу. Представитель ZeroEyes сообщил Ars, что «за последние три года было обнаружено более 1000 единиц оружия». Возможно, наиболее примечательно, что ZeroEyes «обнаружил несовершеннолетнего с автоматом АК-47 на территории начальной школы в Техасе», где выстрелов не было, как сообщалось в прошлом году StateScoop.
Школы инвестируют десятки, а в случае SCPS — даже сотни тысяч ежегодно, точная сумма зависит от количества камер, которые они хотят использовать, и других переменных, влияющих на ценообразование. ZeroEyes оценивает, что большинство школ платят 60 долларов за камеру в месяц. Более крупные контракты могут снизить расходы. В Канзасе общештатная инициатива по оснащению 25 камер в 1300 школах системой ZeroEyes, по имеющимся данным, оценивалась в 8,5 миллионов долларов в год. Однако удвоение количества камер не принесло значительной экономии, поскольку ZeroEyes стремится взимать 15,2 миллиона долларов в год за расширение охвата.
По мнению критиков, ZeroEyes пытается монополизировать рынок школьной безопасности с помощью ИИ, получая прибыль от страхов школ перед стрельбой, при этом предоставляя мало доказательств истинной ценности своих систем. В прошлом году ZeroEyes сообщил о росте выручки на 300% по сравнению с предыдущим годом с 2023 по 2024 год, оказав помощь «более чем в десяти арестах благодаря тысячам обнаружений, проверок и уведомлений конечным пользователям и правоохранительным органам».
Керт Лаварелло, исполнительный директор Совета по обеспечению безопасности в школах, сообщил филиалу ABC News, что «вся эта технология очень, очень дорогая», учитывая, что «многие продукты… могут не обязательно делать то, для чего они продаются».
Еще одна проблема, по мнению экспертов, реагировавших на некоторые из самых смертоносных случаев стрельбы в школах страны, заключается в том, что, хотя у операторов ZeroEyes, проверяющих сигналы, есть возможность оповестить полицию «за секунды», полицейская реакция часто может занимать «несколько минут». Эта задержка может снизить эффективность ZeroEyes, отметил один из экспертов, указав, что в одной из школ Орегона, где он работал, стрелок «застрелил 25 человек за 60 секунд», сообщает StateScoop.
В Семинол, где произошел инцидент с кларнетом, ZeroEyes используется с 2021 года, но SCPS не подтвердил, были ли когда-либо обнаружены какие-либо виды оружия, чтобы оправдать желаемое расширение на следующий год. Возможно, что SCPS располагает этой информацией, поскольку сенатор Труэноу отметил в своем запросе на финансирование, что ZeroEyes может делиться отчетами со школами «для оценки эффективности развертывания ZeroEyes», сообщая о «том, сколько оружия было обнаружено и на которое было выдано оповещение на территории кампуса».
Представитель ZeroEyes сообщил Ars, что «обученные бывшие сотрудники правоохранительных органов и военные принимают решения о том, реальна ли угроза, за доли секунды, от которых зависят жизни», что должно помочь сократить количество ложных срабатываний, которые могут стать более частыми по мере того, как SCPS добавляет ZeroEyes к гораздо большему количеству камер.
Аманда Клингер, директор по операциям в Сети безопасности для педагогов, заявила Post, что слишком много ложных тревог могут нести два риска. Во-первых, больше студентов могут оказаться в опасных ситуациях, когда полиция прибывает в школы, ожидая столкновения с активным стрелком. Во-вторых, полиция может устать от ложных тревог, возможно, со временем перестанет реагировать с должной срочностью. Для студентов, когда ИИ помечает их как подозреваемых, это также может быть инвазивно и унизительно, отмечается в сообщениях.
«Мы должны быть очень трезвыми в отношении ограничений этих технологий», — сказала Клингер.
Автор – Ashley Belanger
