Следующее отключение электроэнергии, которое погрузит страну G20 в хаос, может быть вызвано не киберпреступниками или плохой погодой, а системой искусственного интеллекта, споткнувшейся на ровном месте.
Аналитическая компания Gartner на этой неделе предупредила, что неправильно настроенный искусственный интеллект, встроенный в национальную инфраструктуру, может отключить критически важные службы в крупной экономике уже к 2028 году, вызвав сбои, обычно приписываемые враждебным правительствам или катастрофическим природным явлениям. Прогноз основан на быстром внедрении ИИ в киберфизические системы, которые Gartner определяет как «системы, оркеструющие сбор данных, вычисления, управление, сетевое взаимодействие и аналитику для взаимодействия с физическим миром (включая людей)».
Предупреждение Gartner касается не столько атак на инструменты ИИ, сколько того, что происходит, когда все работает как задумано… пока не перестает. Все больше операторов позволяют системам машинного обучения принимать решения в реальном времени, и эти системы могут реагировать непредсказуемо, если изменены настройки, установлено обновление или введены ошибочные данные.
В отличие от традиционных программных ошибок, которые могут привести к сбою сервера или повреждению базы данных, ошибки в системах управления на базе ИИ могут вылиться в физический мир, вызывая сбои оборудования, принудительные отключения или дестабилизацию целых цепочек поставок, предупреждает Gartner.
«Следующий крупный сбой инфраструктуры может быть вызван не хакерами или стихийными бедствиями, а скорее добросовестным инженером, ошибочным скриптом обновления или неправильно поставленной десятичной точкой», — предостерег Вам Востер, вице-президент Gartner.
Энергетические сети — очевидный полигон для испытаний. Энергетические компании в настоящее время в значительной степени полагаются на ИИ для мониторинга поставок, спроса и возобновляемой генерации. Если программное обеспечение даст сбой или неправильно прочитает данные, участки сети могут погрузиться во тьму, а ремонт поврежденного оборудования сети редко бывает быстрым процессом. Та же ползучая автоматизация появляется на заводах, в транспортных системах и робототехнике, где ИИ постепенно берет на себя решения, которые раньше требовали участия человека, с легкой озабоченностью смотрящего на приборную панель.
Более серьезная обеспокоенность Gartner вызывает скорость внедрения ИИ в системы, где ошибки не просто приводят к сбоям программного обеспечения; они ломают реальные вещи. ИИ появляется в системах, где сбои могут привести к отключению физической инфраструктуры, при этом сами модели не всегда полностью понятны даже командам, которые их создают. Это затрудняет прогнозирование того, как они отреагируют на что-то непредвиденное или при выпуске обычных обновлений.
«Современные модели ИИ настолько сложны, что часто напоминают черные ящики, — сказал Востер. — Даже разработчики не всегда могут предсказать, как небольшие изменения конфигурации повлияют на эмерджентное поведение модели. Чем более непрозрачными становятся эти системы, тем выше риск, связанный с неправильной конфигурацией. Следовательно, еще важнее, чтобы люди могли вмешаться при необходимости».
В то время как регуляторы годами фокусировались на угрозах кибербезопасности для операционных технологий, прогноз Gartner предполагает, что следующая волна рисков для инфраструктуры может быть самонанесенной, а не вызванной противником. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Carly Page
