Как организации могут обезопасить свой ИИ-сгенерированный код

ии безопасность код уязвимости разработка csoonline.com

ИТ-менеджер обнаружил, что новый сотрудник, «вайб-кодер», создал веб-приложение с клиентскими данными и контрактами, используя ИИ-инструменты без должных мер безопасности. Это поднимает вопросы о рисках, связанных с кодом, генерируемым ИИ, и необходимости строгого контроля.

ИТ-менеджер не знал, что компания наняла «вайб-кодера» прямо из университета. К тому времени, когда они встретились через несколько месяцев, новый сотрудник уже создал веб-приложение, работавшее с клиентскими данными и частными контрактами.

Приложение работало под доменом, контролируемым новым сотрудником, хранило данные на бесплатном плане Supabase и развертывалось напрямую из его репозитория GitHub в бессерверную инфраструктуру Cloudflare.

«Он вайб-кодит всё прямо в продакшн, на серверах по всему миру», — написал ИТ-менеджер на Reddit. «Мы находимся в ЕС».

На вопрос, читал ли он сгенерированный ИИ код или принимал ли какие-либо меры безопасности, новый сотрудник ответил: «Мой репозиторий GitHub приватный».

ИТ-менеджер довел проблему до сведения генерального директора, который отмахнулся: «Оставь это».

Во многих организациях вайб-кодеры создают программное обеспечение, не особо задумываясь о безопасности. Их приложения могут выполнять свою работу, но они являются тикающими бомбами.

В SusVibes, наборе данных из 186 реальных запросов на добавление функций из проектов с открытым исходным кодом, агенты, получившие описания функций без указаний по безопасности, в 57% случаев создавали работающий код. Но только 11,8% их решений были безопасными.

«Обнаруженные нами ошибки не были небрежными», — говорит Даньцин Ван из Института языковых технологий Университета Карнеги — Меллона, автор статьи, описывающей SusVibes. «Чтобы их заметить, нужно рассуждать о том, что может сделать злоумышленник, а не только о том, что должна делать функция».

«Что изменилось, особенно в этом году, так это то, что инструменты генерации кода на основе ИИ стали настолько хороши в создании работающего кода, что люди просто доверяют им», — говорит доктор Кэти Пэкстон-Фир, специалист по безопасности в Semgrep. «Разработчики просто не так критичны сейчас, как были, когда ИИ хуже писал код».

Будь то вайб-кодер из отдела маркетинга или опытная команда инженеров, повышающая свою производительность, код, сгенерированный ИИ, представляет растущую угрозу безопасности для CISO. Во многом это связано с объемом, но даже несмотря на то, что ИИ доказал свою способность находить уязвимости в кодовых базах, он пока не умеет надежно писать код, не внося в него собственных уязвимостей.

Отношение к коду, сгенерированному ИИ, как к «недоверенному вводу»

Ведущие агенты для написания кода на основе ИИ, такие как Claude Code, Cursor, GitHub Copilot и Amazon Q Developer, стали основными инструментами разработчиков, а CIO все чаще привлекают бизнес-пользователей для вайб-кодирования собственных приложений.

Но поскольку код, сгенерированный ИИ, появляется повсюду, у CISO есть только один вариант: относиться к нему «как к недоверенному вводу, который должен заслужить свое место в кодовой базе», — говорит Бьянка Ланкфорд, вице-президент по инжинирингу в Datadog.

Для этого специалисты по безопасности приближают проверки безопасности к месту написания кода: статический анализ, сканирование секретов и проверка зависимостей выполняются при каждом запросе на слияние (pull request) и все чаще — в редакторе разработчика.

«Компании также утверждают конкретные инструменты ИИ, ограничивают доступ помощников и обучают рецензентов выявлять распространенные ошибки ИИ, такие как устаревшие библиотеки, слабая проверка ввода и чрезмерно разрешительные настройки по умолчанию», — добавляет Ланкфорд.

В Mimecast использование ИИ для написания кода не снимает с разработчика ответственности за него, говорит Лесли Нильсен, CISO поставщика услуг информационной безопасности. «За каждое изменение, внесенное с помощью ИИ и отправленное в продакшн, отвечает конкретный человек, и это фиксируется в pull request, а не предполагается», — добавляет он. «ИИ может предлагать. Утверждать могут только люди».

Объем кода, который организациям необходимо проверять, постоянно растет, и ручная проверка всего может быть невозможной. Поэтому Нильсен рекомендует руководителям по безопасности сочетать автоматизированные проверки с человеческим суждением.

«Мы используем автоматизацию для известных и повторяющихся задач, таких как проверка зависимостей, обнаружение секретов и стандартные шаблоны уязвимостей», — говорит он. «Мы оставляем человека ответственным за все, что связано с доступом, аутентификацией или конфиденциальными данными. Эти категории всегда передаются специалисту-рецензенту, независимо от того, насколько чистым выглядит скан».

Ланкфорд из Datadog говорит, что решение привлечь специалиста должно зависеть от того, что может оказаться под угрозой, а не от того, кто — человек или ИИ — написал код. «Все, что связано с аутентификацией, криптографией, платежами, личными данными или инфраструктурой, передается специалисту, и правила владения кодом могут автоматически направлять эти изменения», — говорит она. «Другие полезные сигналы включают размер различий (diff size), новые зависимости и изменения разрешений или сетевой доступности».

Цель состоит в том, чтобы сохранить внимание рецензентов. «Рецензент, заваленный низкорисковыми изменениями, не рецензирует», — добавляет Нильсен. «Он просто утверждает».

Еще одним приоритетом должно быть сохранение знаний, лежащих в основе кода. «Генеративный ИИ может создавать программное обеспечение, но он не может создавать понимание», — отмечает Алекс Штефэнеску, эксперт по безопасности и технический активист. «Документация, надежный набор тестов и письменная запись каждого значительного архитектурного решения, когда-либо принятого, сэкономят разработчикам и организациям бесчисленные часы при возникновении инцидента безопасности или при отладке сложных проблем».

Все это должно создаваться и поддерживаться людьми и предназначаться для использования людьми, а не передаваться генеративным алгоритмам, добавляет Штефэнеску.

Что находится под угрозой при использовании кода, сгенерированного ИИ

Включение сторонних библиотек или фантомных зависимостей — зависимостей, явно не объявленных в файле манифеста — является распространенной проблемой при использовании кода, сгенерированного ИИ, поскольку эти неучтенные пакеты программного обеспечения могут быть не обнаружены во время сканирования и потенциально скрывать уязвимости.

Одним из способов решения этой проблемы является использование анализа состава программного обеспечения (SCA) и инструментов безопасности цепочки поставок программного обеспечения для выявления используемых библиотек, а также уязвимостей и потенциальных юридических и нормативных проблем, которые они могут вызвать.

Хотя это не уникально для кода, сгенерированного ИИ, организации также подвергают себя риску, когда разработчики загружают модели машинного обучения (ML) или наборы данных с таких платформ, как Hugging Face.

«Несмотря на проверки безопасности с обеих сторон, все же может случиться так, что модель содержит бэкдор, который активируется после интеграции модели», — говорит Штефэнеску. «Это может в конечном итоге привести к утечке данных из компании, использовавшей вредоносные модели».

Когда речь идет об агентах для написания кода и функциях автодополнения кода в таких инструментах, как GitHub Copilot, Штефэнеску беспокоится о галлюцинациях. «LLM всегда будет генерировать наиболее статистически вероятное продолжение заданного запроса, поэтому нет никаких реальных гарантий того, что он сгенерирует реальный пакет из PyPI, например, после слова ‘import’», — говорит он. «Некоторые злоумышленники знают об этом и регистрируют имена пакетов на таких платформах, как npm и PyPI, добавляя некоторую функциональность, которую предлагают инструменты автодополнения, чтобы пакеты казались легитимными».

Если эти пакеты будут импортированы в реальные приложения, они могут нанести реальный ущерб.

Еще одной ключевой проблемой является непреднамеренная утечка конфиденциальной информации в кодовые базы из-за использования разработчиками инструментов кодирования на основе ИИ.

Для устранения этих рисков CISO могут установить протоколы для загрузки и интеграции моделей ML или наборов данных с внешних платформ, таких как Hugging Face, и обеспечить включение этих протоколов в файлы инструкций агентов для кода ИИ, где это применимо. Такие протоколы могут включать внедрение автоматизированных инструментов сканирования для обнаружения вредоносного кода или бэкдоров, наличие политики, разрешающей использование только моделей от проверенных издателей, или проведение внутренних испытаний в изолированных средах.

Не весь код на основе ИИ поступает от команд, состоящих из инженеров-программистов. «Мы видим, что многие внедрения осуществляются аналитиками данных, маркетинговыми командами, исследователями и т. д. внутри организаций», — говорит Даррен Мейер, инженер-исследователь в Endor Labs.

Эти команды традиционно не разрабатывают собственное программное обеспечение, но все чаще пишут простые инструменты, использующие библиотеки и модели ИИ, поэтому они часто не осведомлены о связанных с этим рисках. «Это сочетание теневого инжиниринга с уровнем осведомленности о безопасности приложений ниже среднего может стать питательной средой для риска», — добавляет он.

Чтобы обеспечить безопасную работу этих команд, CISO должны рассмотреть возможность установления отношений с этими командами на ранних этапах процесса. Руководители по кибербезопасности также могут захотеть создать программы обучения, адаптированные для нетрадиционных команд разработчиков, чтобы обучить аналитиков данных, специалистов по маркетингу и исследователей потенциальным рискам, связанным с инструментами и библиотеками на основе ИИ.

Инвестиции в оборону

«Бюджеты на безопасность, как правило, не растут такими же темпами, как ускоряется разработка программного обеспечения, а внедрение ИИ только увеличивает этот разрыв», — говорит Мейер. Безопасность приложений часто недофинансируется в большинстве организаций, однако выделение достаточного времени и ресурсов на нее имеет важное значение, поскольку внедрение ИИ и кодирование с помощью ИИ ускоряют темпы разработки программного обеспечения.

«Портфель высококачественных инструментов безопасности, которые могут помочь устранить этот разрыв, больше не является необязательным», — говорит Мейер. «И хотя инструменты критически важны для устранения разрыва, так же важны сотрудники AppSec и ProdSec, которые могут эффективно сотрудничать с разработчиками — даже с нетрадиционными разработчиками — и понимать технические, нормативные и безопасностные последствия ИИ».

Когда дело доходит до обеспечения достаточных ресурсов для защиты систем ИИ, некоторые заинтересованные стороны могут колебаться, рассматривая это как необязательные расходы, а не как критически важные инвестиции. «Внедрение ИИ является спорной темой во многих организациях: некоторые руководители и команды полностью поддерживают внедрение, а некоторые категорически против», — говорит Мейер. «Это напряжение может создать проблемы для проницательных CISO и бизнес-офицеров по информационной безопасности (BISO)».

CISO, осведомленные как о преимуществах, так и о недостатках этого, могут попытаться установить контроль для эффективного управления рисками, но это может создать впечатление, что они сдерживают инновации организации, если они не объяснят свои действия должным образом. «Организации должны разработать комплексные стратегии, которые сбалансируют преимущества производительности инструментов ИИ с надежными практиками безопасности», — говорит Томас Сегура, старший технический писатель в GitGuardian.

Экономически эффективные изменения, которые должны внедрить CISO

Но если у руководителя службы безопасности есть 90 дней и нет свободного бюджета, какие изменения окажут наибольшее влияние?

Ланкфорд из Datadog говорит, что краткая и понятная политика использования инструментов ИИ может прояснить ожидания. Как минимум, такая политика должна определять, какие инструменты могут использовать сотрудники, какой код и данные они могут передавать, и какие изменения требуют экспертного рассмотрения. Цель состоит в том, чтобы дать людям ответы, которые они могут использовать во время работы, с четким контактным лицом на случай неуверенности.

Также важно понимать, что сотрудники не хотят нарушать политику. Они просто хотят выполнять свою работу без препятствий и без недельного ожидания одобрения. Предоставление им правильных инструментов делает более безопасный путь более легким.

Напротив, запрет инструментов не работает, потому что сотрудники все равно найдут способ их использовать. Запрет может вывести использование ИИ из поля зрения, оставив команды безопасности с меньшей видимостью кода, который пишется, и данных, которыми обмениваются, говорит Нильсен из Mimecast.

CISO должны анализировать весь процесс разработки, чтобы определить, где они могут вмешаться и какие риски они могут устранить на каждом этапе. «Поймите, на какие уровни вы можете повлиять и какие уязвимости вы можете устранить на каждом уровне: на этапе проектирования, в файле CLAUDE.md, во время написания кода агентом, во время pull request, в рамках ИИ-пентеста», — говорит Пэкстон-Фир из Semgrep.

Также важно объяснить сотрудникам, использующим инструменты генерации кода на основе ИИ, что безопасность существует в неявном контексте: модель угроз, границы доверия, что контролирует злоумышленник. «Агенты не могут надежно планировать и рассуждать об этом, поэтому они оптимизируют единственный сигнал, который у них есть, — удовлетворение заданного описания функциональности», — говорит Ван из Университета Карнеги — Меллона.

Когда что-то идет не так, люди в организации должны чувствовать себя в безопасности, сообщая службе безопасности о произошедшем, в том числе о том, какие неутвержденные инструменты они использовали и какие данные передавали. Страх наказания может задержать этот разговор, оставляя команду пытающейся сдержать проблему без полной картины.

«Предложите амнистию вместо репрессий, чтобы люди говорили вам правду о том, что они используют», — советует Нильсен.

Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.

Похожие новости: