OpenAI готовится к тому, что группы злоумышленников попытаются использовать её всё более мощные передовые модели ИИ для проведения изощрённых кибератак.
В своём блоге компания описывает, как развивающиеся возможности её моделей могут быть использованы для «разработки действующих эксплойтов нулевого дня для удалённого доступа к хорошо защищённым системам или для существенной помощи в сложных, скрытных операциях по вторжению в корпоративные или промышленные сети, направленных на реальные последствия».
По мнению OpenAI, основная проблема заключается в том, что наступательное и оборонительное использование ИИ опирается на одни и те же знания и методы. Это затрудняет активацию одного, не делая возможным другое.
«Мы инвестируем в меры безопасности, чтобы гарантировать, что эти мощные возможности приносят пользу в первую очередь в оборонительных целях и ограничивают их применение в злонамеренных целях», — заявила компания, добавив: «Мы рассматриваем эту работу не как разовое усилие, а как постоянные долгосрочные инвестиции в предоставление защитникам преимущества и постоянное укрепление безопасности критически важной инфраструктуры во всей экосистеме».
Одной из новых инициатив является Frontier Risk Council (Консультативный совет по передовым рискам). Компания предоставила мало деталей о том, как он будет работать, но заявила, что это часть расширяющейся стратегии «эшелонированной обороны», призванной сдержать широко обсуждаемый потенциал ИИ как инструмента для злоумышленников.
«Члены совета будут консультировать по вопросам границы между полезными, ответственными возможностями и потенциальным злоупотреблением, и эти знания будут напрямую влиять на наши оценки и меры безопасности. Мы скоро поделимся более подробной информацией о совете», — заявили в OpenAI.
Другие инициативы, упомянутые в блоге, включают расширение мер защиты от злоупотреблений, внешнее тестирование Red Team для оценки безопасности моделей и программу доверенного доступа, предназначенную для предоставления квалифицированным клиентам доступа к улучшенным моделям для изучения оборонительных сценариев использования.
OpenAI также планирует расширить использование недавно анонсированного инструмента бета-тестирования Aardvark Agentic Security Researcher для выявления уязвимостей в своей кодовой базе и предложения исправлений или мер по их устранению.
Red Teaming ИИ
Компании, занимающиеся разработкой ИИ, оказываются под растущим давлением, требующим объяснений, как они будут предотвращать злоупотребление моделями. Тревога не гипотетическая; в прошлом месяце конкурент OpenAI, Anthropic, признала, что её инструмент программирования ИИ Claude Code использовался как часть кибератаки, нацеленной на 30 организаций — это первый случай обнаружения злонамеренной эксплуатации ИИ в таких масштабах.
Тем временем университетские исследователи в США на этой неделе сообщили, что исследовательская платформа Artemis AI превзошла десять специалистов по тестированию на проникновение в поиске уязвимостей безопасности. Как отметила команда, она сделала это за небольшую долю стоимости работы человека-исследователя, что потенциально расширяет доступ к таким возможностям за пределы хорошо обеспеченных преступников.
Балансом этому является возможность того, что защитники смогут использовать ИИ для поиска тех же уязвимостей. В блоге OpenAI намекается на эту возможность, когда упоминается тестирование её моделей с помощью Red Teaming Network, анонсированной два года назад.
Реакция отраслевых экспертов на последнее заявление OpenAI была неоднозначной. Повторяющейся проблемой является присущая сложность пресечения злонамеренного использования ведущих моделей.
«OpenAI просит модели ограничивать свои собственные возможности посредством обучения отказу, что можно сравнить с просьбой к замку решить, когда ему следует открыться», — прокомментировал Джесси Уильямс, соучредитель и операционный директор компании Jozu, занимающейся DevOps на базе ИИ-агентов. По сути, модель, а не её создатели, определяет, что является вредоносным.
«Различие заключается в намерении и авторизации, которые модели не могут вывести из запросов. «Джейлбрейки» последовательно обходят обучение отказу, а изощрённые противники будут исследовать границы обнаружения и обходить их. Меры безопасности снижают случайное злоупотребление, но не остановят решительные угрозы», — сказал Уильямс.
«Программа доверенного доступа OpenAI звучит разумно, пока вы не изучите её реализацию. Кто считается доверенным? Университетские исследователи? Подрядчики оборонных ведомств? Аналитики зарубежных центров оперативного управления (SOC)?»
По словам Роба Ли, главного специалиста по ИИ в SANS Institute, проблему злоупотребления ИИ не может решить одна компания — даже могущественная OpenAI. «Компании разрабатывают модели, которые могут автономно обнаруживать или использовать уязвимости, но глобальная система безопасности — правительства, передовые лаборатории, исследователи и органы по стандартизации — фрагментирована и нескоординирована», — сказал Ли.
«В результате возникает растущий разрыв, где скорость становится собственной уязвимостью, создавая условия для каскадных сбоев в инфраструктуре, финансах, здравоохранении и критически важных системах».
Не все эксперты настроены столь пессимистично. По мнению Аллана Лиски, аналитика по угрозам в Recorded Future, важно не преувеличивать угрозу, исходящую от ИИ. «Хотя мы сообщаем об увеличении интереса и возможностей как государственных, так и киберпреступных группировок в использовании ИИ, эти угрозы не превышают возможности организаций, соблюдающих лучшие практики безопасности», — сказал Лиска.
«Это может измениться в будущем, однако в данный момент важнее, чем когда-либо, понимать разницу между ажиотажем и реальностью, когда речь идет об ИИ и других угрозах».
Автор – John E. Dunn
