Этот случай подчеркивает растущую обеспокоенность среди военных чиновников и внешних экспертов: по мере того как лица, принимающие решения, все больше полагаются на ИИ, ошибки, допускаемые этими системами, могут пройти по цепочке командования, прежде чем будут поставлены под сомнение.
В разведывательном докладе, циркулировавшем во время войны с Ираном, говорилось, что судно перевозило компоненты для программы ядерного оружия.
Ложная разведданные поступили от аналитика Командования специальных операций, который запросил у чат-бота с ИИ синтез данных из открытых источников с засекреченными сигналами разведки. Чат-бот неверно идентифицировал груз судна. Затем аналитик использовал инструмент во второй раз, чтобы оформить ошибочные выводы в официальное резюме, которое было разослано по каналам командования.
Этот почти случившийся инцидент произошел на фоне гонки вооружений в армии США по интеграции ИИ для ускорения принятия решений и сохранения превосходства над Китаем. Пентагон заявлял, что ИИ обеспечивает значительное преимущество в ускорении цепочки уничтожения, позволяя командирам реагировать в нужное время. Однако та же скорость, которая делает ИИ привлекательным, может также способствовать галлюцинациям при недостаточном человеческом контроле.
«Важно, чтобы военнослужащие понимали неопределенность, присущую большим языковым моделям», — сказал Джейк Стеклер, научный сотрудник GovAI и ветеран армии США, в письменном ответе TechCrunch. «Но это особенно критично для любых решений, которые могут привести к применению силы, таких как наведение на цель, анализ разведданных или оперативное планирование. Эти решения связаны с жизнью и смертью».
Тем не менее, по словам Стеклера, этот инцидент должен послужить призывом к добавлению большего количества защитных мер для ИИ, а не причиной избегать его. «Эти инструменты могут быть полезны в правильных контекстах и при наличии надлежащих мер безопасности», — сказал он. «Однако приоритет скорости внедрения над всем остальным, вероятно, приведет к инцидентам, которые только заставят военнослужащих потерять доверие к этим системам, что в конечном итоге только замедлит внедрение».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Aditya Mehta
