ИИ-агенты не «выходят из-под контроля». Лаборатории Frontier пренебрегают основами безопасности.

С июля ведущие американские лаборатории ИИ и другие лидеры в области искусственного интеллекта сообщили о ряде инцидентов, в ходе которых их модели получили несанкционированный доступ к внешним компьютерным системам. Эти события получили широкое распространение под названием «выход из-под контроля» ИИ-агентов.

Наиболее известным и изученным из этих инцидентов является взлом Hugging Face компанией OpenAI, который OpenAI изначально охарактеризовала как «беспрецедентный киберинцидент с использованием передовых кибервозможностей», а позже объяснила «несогласованным поведением», то есть поведением, которого не предполагали ее создатели.

После новостей об инциденте с Hugging Face компания Anthropic сообщила, что одна из ее моделей получила несанкционированный доступ к производственной инфраструктуре трех организаций; *Meta заявила, что одна из ее моделей ИИ взломала другую компанию во время тестирования кибербезопасности; а Google признала, что ее модель Gemini совершила три «ненаправленных компьютерных взлома».

Хотя в сообщениях прессы и самих поставщиков моделей используются такие термины, как «неуправляемые агенты» или «несогласованность», эксперты по кибербезопасности, беседовавшие с CSO, утверждают, что эти формулировки скрывают простую истину: эти инциденты были вызваны непростительными ошибками ведущих лабораторий в применении практик кибербезопасности, известных на протяжении десятилетий.

Усугубляет проблему, по словам полудюжины экспертов по кибербезопасности, с которыми CSO беседовал на трех отраслевых конференциях в сентябре и в последующих беседах, то, что ведущие лаборатории, особенно OpenAI и Anthropic, отвергли их советы по улучшению практик управления рисками кибербезопасности для предотвращения подобных скрытых взломов, часто относя практики кибербезопасности к категории «безопасность ИИ», в которой, по их мнению, они обладают превосходной экспертизой.

«Честно говоря, они не так хороши, как думают», — говорит Гэри МакГроу, соучредитель Института машинного обучения Берривилля, в интервью CSO. «Было бы лучше, если бы они больше уважали опыт, с трудом полученный людьми из различных областей безопасности, таких как криминалистика или инженерная безопасность, создание песочниц, настройка или мониторинг ситуаций сетевой безопасности».

Ни Anthropic, ни OpenAI не ответили на запросы CSO о комментарии.

Непростительные ошибки в основах кибербезопасности, особенно в области изоляции

По словам специалистов по кибербезопасности, с которыми беседовал CSO, одной из крупнейших ошибок ведущих лабораторий ИИ является отсутствие внедрения проверенных временем практик изоляции, существующих с 1990-х годов, таких как создание безопасных песочниц, которые эффективно препятствовали бы выходу агентов из тестовых сред.

«Мы имеем дело с этим годами», — говорит Роб Т. Ли, директор по ИИ и начальник отдела исследований Института SANS, в интервью CSO. «Нет причин, по которым каждый раз, когда это происходит, мы слышим: „Ой, мы не знаем, как они выбрались“».

«Можно сказать, что их команды безопасности еще очень молоды», — говорит Ли. «Специалисты по изоляции в области кибербезопасности утверждают, что в большинстве случаев нарушения изоляции происходят потому, что она настроена неправильно».

Ли добавляет: «Инцидент с Hugging Face однозначно показал, что дело не в том, что агенты были суперумными. Дело в том, что буквально была лазейка, которая была использована, потому что она была неправильно сконфигурирована с точки зрения изоляции».

Дэн Уоллах, эксперт по технологиям Центра ИИ, безопасности и технологий RAND, считает, что неудачи в области безопасности ИИ-лабораторий сводятся к тому, что они не уделяют первостепенное внимание кибербезопасности.

«Я бы сказал, что они не уделяют первостепенное внимание кибербезопасности», — говорит он CSO. «Я не думаю, что могу сказать это обо всех лабораториях», — говорит Уоллах, указывая на запуск французской ИИ-лабораторией Mistral своей модели Large 4 AI, которая, по словам компании, пыталась работать за пределами тестовой среды, прежде чем Mistral ее отключил.

И, добавляет он, «не является ракетной наукой изолировать одну из этих ИИ-систем. Специалисты по безопасности годами говорили о том, как использовать либо воздушный зазор, чтобы буквально не было электрического пути для передачи данных отсюда сюда, либо, в противном случае, иметь действительно строгий контроль исходящего трафика, чтобы гарантировать, что ничего не пройдет».

Кроме того, ведущие лаборатории, по-видимому, проводят недостаточное наблюдение за поведением своих агентов. Инцидент с Hugging Face «продолжался несколько дней, и никто этого не заметил», — говорит Уоллах. «Люди начинали эти эксперименты и не следили за ними. Это отсутствие контроля. А потом они удивляются тому, что произошло».

Разделение безопасности (safety) и безопасности (security)

Одним из препятствий для убеждения ведущих лабораторий в необходимости повышения уровня их безопасности является интенсивное внимание, которое они уделяют так называемой «безопасности» (safety), но не распространяют его на традиционные практики кибербезопасности.

«Я вижу, как поведение в области безопасности выглядит как безопасность ИИ», — говорит Уоллах из RAND. «Но если вы оцениваете этот ИИ-инструмент, выпуская его в интернет и наблюдая за тем, что происходит, то для этого и существуют классические инструменты безопасности».

Ли из Института SANS говорит: «Если бы эти ведущие лаборатории действительно хотели протестировать свои разработки, им нужно было бы усилить свой компонент кибербезопасности. Но их инстинктивная реакция на выход их агентов из-под контроля — это сказать: „Это не проблема кибербезопасности“. Это буквально стало проблемой безопасности ИИ, которая отделена от аспекта кибербезопасности».

Многие эксперты по ИИ предполагают, что если бы ИИ-компании приняли советы специалистов по кибербезопасности, это помогло бы положить конец бесконтрольному поведению ИИ-агентов, вызывающему опасения. «Безопасность ИИ фокусируется на правилах дорожного движения», — говорит Ли. «Все сводится к правилам безопасности».

Но «я верю, что кибербезопасность может контролировать ИИ», — говорит он. «Нам просто нужно быть в комнате, где это происходит, и иметь место за столом. Для нашей области важно быть как можно ближе к специалистам по безопасности ИИ».

Плохая кибербезопасность может увеличить ответственность

Если ведущие лаборатории пренебрегают фундаментальными принципами кибербезопасности, которые могли бы снизить или устранить типы инцидентов, вызывающих широкие опасения, это усиливает аргументы в пользу того, что они должны нести ответственность за своих «неуправляемых» агентов. Страховая отрасль уже выступает за привлечение руководителей ИИ-индустрии к ответственности за эти действия.

Сенаторы-демократы внесли законопроект, который возлагает на операторов ИИ-агентов ответственность за инциденты взлома. Даже дружественная к ИИ администрация Белого дома, по-видимому, пришла к выводу, что компании должны нести ответственность за своих ошибочных агентов, в то время как Федеральная торговая комиссия США проводит расследование в отношении Anthropic, OpenAI и других ИИ-лабораторий относительно опасностей, которые их технологии представляют для потребителей.

Однако на недавних законодательных и общественных слушаниях представители лабораторий твердо придерживались мнения, что они не несут ответственности за вышедших из-под контроля ИИ-агентов.

Эксперты считают эту позицию несостоятельной, особенно в свете провалов лабораторий в области кибербезопасности.

МакГроу из BIML характеризует позицию лабораторий следующим образом: «Не отправляйте юристов к нам, отправьте их к нашей программе. Это вина нашей программы». Его оценка этого аргумента: «Это просто чушь собачья».

Он также ставит под сомнение, подрывают ли операционные провалы лабораторий доверие к их более широким возможностям в области безопасности. «Они живут в своем собственном пузыре», — говорит он. «Тот факт, что они не могут должным образом выполнять простые операции, не предвещает ничего хорошего для их возможностей в области инженерной безопасности, которая гораздо сложнее».

Ли из SANS говорит: «Вот где вступает в игру прослеживаемость как для ответственности, так и для страхования, потому что если один из этих агентов будет обнаружен, и его удастся отследить до человека, который его инициировал, ответственность вступит в силу и скажет: „Эй, ты нарушил закон, следовательно, мы должны преследовать в судебном порядке“».

Что следует предпринять руководителям служб безопасности

Даже несмотря на растущие доказательства того, что ведущие лаборатории не применяют надежные практики кибербезопасности, и споры об ответственности остаются неразрешенными, руководители служб безопасности (CISO) и другие лидеры в области безопасности могут предпринять шаги для защиты себя от сбоев моделей ИИ.

Во-первых, когда дело доходит до оценки инструментов на основе моделей ведущих лабораторий, «я бы всегда привлекал внешнюю организацию для помощи в этом», — говорит МакГроу. «ИИ чрезвычайно мощный и чрезвычайно полезный, но он сопряжен с очень серьезными взрослыми рисками, которые действительно влияют на предприятие. Определите эти риски, внедрите соответствующие средства контроля, убедитесь, что внедрение ИИ не является просто произвольным и хаотичным по всему предприятию, а имеет некоторый централизованный орган, который рассматривает проблему, а затем будьте готовы к следующему большому событию, которым являются рои агентов».

Для Ли лучшая защита — задавать правильные вопросы. «Все начинается с правильных вопросов, а затем поиска инструментов и возможностей для тех [ИИ-лабораторий], которые способны продемонстрировать более высокий уровень компетенции в области кибербезопасности», — говорит он. «Вы действительно ищете людей в командах, которые решают очень сложные проблемы».

Но в фундаментальном плане лучшая подготовка к работе с киберуязвимостями моделей ИИ заключается в обеспечении наличия всех долгосрочных практик управления рисками кибербезопасности во всей организации. «Это наименее захватывающая часть обсуждения», — говорит Уоллах. «Это кибер-версия «ешьте свои овощи».

«Нам нужно перепроектировать наше программное обеспечение, чтобы оно имело лучшую безопасность», — добавляет он. «Нам нужна многофакторная аутентификация для всех наших учетных записей. Нам нужно есть свои овощи с точки зрения оборонительной кибербезопасности. И мы знаем, как это делать».