Президент OpenAI Грег Брокман в воскресенье предупредил корпоративных CISO, что им необходимо активнее внедрять агентов, если они хотят пережить грядущие кибератаки.
Брокман заявил в блоге, что «становится всё очевиднее»: корпоративные системы скрывают «серьёзные уязвимости, и защитникам нужно находить и устранять их раньше, чем это сделают злоумышленники».
Он добавил: «Инцидент с Hugging Face показал, что мы недооценили реальные кибервозможности наших моделей ИИ».
Однако подробности, которыми он поделился о текущих оборонительных усилиях OpenAI, в основном сводились к стандартным передовым практикам, знакомым корпорациям.
«Мы продолжаем инвестировать в безопасную архитектуру и средства контроля, придерживаемся таких стратегий, как многоуровневая защита и минимальные привилегии, а также проектируем системы, требующие одновременного отказа нескольких независимых механизмов контроля для наступления катастрофы», — сказал Брокман. «Классические средства защиты, такие как сетевая изоляция, усиление вычислительных нагрузок, мониторинг, а также безопасное обновление исправлений и развёртывание, будут важнее, чем когда-либо, в будущем ИИ».
Для борьбы с новыми угрозами Брокман также посоветовал корпоративным CISO расширить использование агентных систем, неудивительно, что рекомендовал системы от OpenAI.
«Дайте своей команде безопасности агента, — написал он. — Начните использовать Codex, плагин Codex Security или другой мощный агентный инструмент для кодирования и безопасности. Предоставьте ему разрешённый доступ к кодовым базам, конфигурациям инфраструктуры и технической документации, которые необходимы вашей команде безопасности для оценки. Не ждите общефирменного развёртывания, чтобы начать с ваших систем наивысшего приоритета».
Затем, по его словам, «Оснастите этого агента экспертизой в области безопасности. Начните с поддерживаемых сообществом навыков, которые включают рабочие процессы для статического анализа, проверки кода с фокусом на безопасность, анализа вариантов уязвимостей, рисков в цепочке поставок ПО и других рабочих процессов безопасности. Затем создавайте собственные навыки с учётом архитектуры вашей организации, стандартов безопасности, моделей угроз и руководств».
Точный, но корыстный совет
Аналитики и консультанты отметили, что совет Брокмана был точен, но также очевиден и в некоторой степени корыстен.
Аналитик Gartner вице-президент Надер Ханейн выразился прямо: «Как правило, я не рекомендую прислушиваться к советам стороны, которая активно продаёт решение проблемы, в создании которой она сама участвовала. Любопытно, что в блоге ни разу не поднимается тема ответственности».
Питер Арнц, исследователь вредоносного ПО в Malwarebytes, добавил: «Что мне особенно бросается в глаза — это необычно откровенная реклама OpenAI».
«”Дайте своей команде безопасности агента” и предоставьте ему доступ к коду, конфигурациям инфраструктуры и технической документации, начните с систем с высоким приоритетом, не дожидаясь общефирменного развёртывания», — перефразировал Арнц пост Брокмана. «Рекомендуемая траектория от сканирования только для чтения до триажа оповещений и автоматического закрытия узко определённых ложных срабатываний в целом разумна, но OpenAI явно пытается нормализовать доступ агентов в корпоративные среды».
Флавио Вильянустре, CISO группы LexisNexis Risk Solutions, также отнёсся скептически.
«Хотя я в целом согласен с рекомендациями г-на Брокмана, это проблема, которую OpenAI помогла создать. И рекомендация, похоже, заключается в том, чтобы пользователи теперь платили OpenAI больше, используя ИИ для защиты себя», — сказал он. «Я полностью осознаю, что джинн уже выпущен из бутылки и обратно его не загнать, но считаю, что OpenAI должен занять ответственную позицию и помочь решить проблему с помощью более высоких стандартов безопасности и даже финансировать инициативы, повышающие безопасность ПО в целом. Возможно, помочь профинансировать ключевые проекты с открытым исходным кодом, которые сейчас сильно перегружены из-за увеличения объёмов находок и исправлений, генерируемых ИИ».
«Ответственность всегда должна начинаться с себя», — добавил он, — «и я не вижу этого отражения в этом блоге».
Майк Уилкс, корпоративный CISO в Aikido Security, отметил, что гораздо важнее то, чего Брокман не сказал, например, способов ограничения ущерба, когда агенты выходят из-под контроля.
«Каждое значимое действие агента должно иметь ограничения радиуса поражения, аудиторский след и проверенный, почти мгновенный путь отката, а не просто уверенность в оценке безопасности модели», — сказал Уилкс. «Собственная рекомендация Брокмана расширять автономию только постепенно соответствует этому, но я бы сделал возможность отката явным требованием к дизайну».
Он добавил: «Брокман правильно говорит об “ограниченных автоматических ответах” и о том, чтобы оставить ответственность за решения с наибольшим влиянием на людях, но предприятиям, развёртывающим защитных агентов, также необходимы чрезвычайно быстрые и надёжные “кнопки отмены” для всего, что эти агенты изменяют».
Реагирование на инциденты всегда работает в условиях неполной информации, указал он, и ранние индикаторы часто ошибочны, что заставляет команды заниматься не тем, пока новые данные не изменят их гипотезу о том, кто атакует, что было взломано и куда злоумышленники направляются дальше.
Общеотраслевая проблема
Аналитики и консультанты согласились, что эти проблемы носят общеотраслевой характер, и многие поставщики ИИ сосредоточились на том, что приносит больше всего денег и позволяет им контролировать наибольшую долю рынка, а не на способах сделать системы по-настоящему безопаснее.
«Пост Брокмана — хорошее резюме, но в нём нет ничего действительно нового или примечательного. Все крупные ИИ-лаборатории отказываются от барьеров безопасности и этики, которые были установлены в первые дни», — сказал Марк Таушек, ведущий аналитик Info-Tech Research Group. «Их фокус будет смещён на возможности кибербезопасности, потому что именно там находятся внимание и деньги. Желание замедлять разработку и тратить деньги, чтобы гарантировать этичное и безопасное поведение новых моделей для обычных пользователей, ослабло».
Ноа Кенни, главный консультант Digital 520, согласился и добавил, что у OpenAI есть причины так поступать, учитывая подготовку к IPO.
«Для меня это больше история про IPO, чем что-либо ещё. Оборонительная безопасность хорошо смотрится в S-1, потому что защищает доход, сигнализирует об операционной зрелости и успокаивает инвесторов», — сказал Кенни. «Команда по катастрофическим рискам — это противоположная статья расходов, потому что её единственная цель — прийти на совещание по запуску и сказать, что эта модель может быть слишком опасна для выпуска. Это приводит к задержкам и юридическим рискам как раз тогда, когда компания пытается выйти на IPO, и не приносит дохода».
Кэти Нортон, директор по исследованиям облачной безопасности в IDC, отметила, что ключевым моментом, который её поразил в посте, была срочность предложенных действий.
«Что выделяется, так это безотлагательность послания Брокмана и признание OpenAI того, что она недооценила реальные кибервозможности своих моделей после инцидента с Hugging Face», — сказала Нортон. «По сути, он говорит, что у организаций есть месяцы, а не годы, чтобы адаптироваться».
Эта статья первоначально появилась на Computerworld.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Evan Schuman
