Когда речь заходит о защите корпоративных цепочек поставок, которые теперь в значительной степени насыщены приложениями и агентами на базе ИИ, ведомость компонентов программного обеспечения (SBOM) больше не обеспечивает полной инвентаризации всех компонентов в среде. Здесь на сцену выходят AI-BOM.
В то время как традиционная SBOM включает все программные пакеты и зависимости организации, AI-BOM призвана закрыть пробелы, созданные активами ИИ, предоставляя информацию обо всех моделях, наборах данных, SDK-библиотеках, MCP-серверах, ML-фреймворках, агентах, агентских навыках, промптах и других инструментах ИИ — а также о том, как эти компоненты ИИ взаимодействуют друг с другом и подключаются к рабочим процессам.
Вы не знаете рецепт, вы не знаете ингредиенты, вы не знаете пекаря. Вы бы съели кусок этого торта?
“Представьте, что ИИ — это праздничный торт посреди этой комнаты, но вы не знаете, как он здесь оказался”, — сказал Ян Свонсон, вице-президент по безопасности ИИ в Palo Alto Networks, в интервью The Register. “Вы не знаете рецепт, вы не знаете ингредиенты, вы не знаете пекаря. Вы бы съели кусок этого торта?”
Многие организации все равно едят этот торт.
Помимо одобренных компанией моделей и ИИ, используемого в технологическом стеке, существует также проблема “теневого ИИ” — раньше мы называли это “теневым ИТ” — и эти несанкционированные инструменты также необходимо вывести из тени, чтобы их можно было учесть. Сюда входят все платформы для кодирования по наитию (vibe coding) и агенты, которые отдельные сотрудники запускают самостоятельно, а также любые внешние чат-боты, с которыми они взаимодействуют на рабочих компьютерах и куда потенциально вводят конфиденциальные корпоративные данные.
Чтобы защитить все эти ингредиенты ИИ, “запеченные” в торте, компаниям сначала необходимо знать, что они собой представляют, с чем они связаны и как используются.
“В целом, организации, которые пытаются разобраться в безопасности ИИ”, — сказала Эми Чанг, глава отдела разведки угроз ИИ и исследований безопасности в Cisco, в интервью The Register. “Они хотят иметь возможность определить, какие активы ИИ существуют в их среде. Такой инструмент, как AI bill of materials, является одним из первых мест, где можно начать лучше понимать, что существует”.
Далее: происхождение моделей
Cisco ранее выложила в открытый доступ свою AI-BOM, сделав ее бесплатной для сканирования кодовых баз, образов контейнеров и облачных сред для создания этой ведомости компонентов.
В пятницу компания также выпустила свой Model Provenance Kit в качестве инструмента с открытым исходным кодом для отслеживания происхождения моделей. В блоге, анонсирующем новый репозиторий, Чанг и другие исследователи ИИ описывают его как ДНК-тест для моделей ИИ, и он определяет происхождение, используя один из двух режимов: сравнение (compare) или сканирование (scan).
Режим сравнения берет любые две модели и показывает их сходство по метаданным, структуре токенизатора, сигналам на уровне весов, а также итоговый составной балл. Режим сканирования начинает с одной модели и сопоставляет ее с базой данных для определения наиболее близких кандидатов по линии происхождения — и для помощи в этом режиме Cisco также выпустила базу данных отпечатков моделей, охватывающую около 150 базовых моделей из более чем 45 семейств и от более чем 20 издателей.
Чанг сообщила нам, что новый инструмент ИИ выполняет две проверки шлюза. “Во-первых, на уровне метаданных он сравнивает информацию из базовой модели с дообученной версией модели, чтобы обозначить некоторую связь происхождения — например, что это получено из Meta* Llama 4 или Alibaba Qwen3”, — сказала она.
“Затем мы смотрим на сигналы, основанные на весах. Таким образом, мы предоставляем своего рода проверяемый, повторяемый и доказуемый способ подтвердить, что модели, которые вы используете и развертываете, ориентированные на клиентов, которые поглощают все эти данные, действительно являются теми моделями, которые вы должны использовать, или которые находятся в пределах вашей толерантности к риску”.
Организации хотят иметь возможность определить, какие активы ИИ существуют в их среде
Во время нашего интервью Чанг указала на Composer 2 от Cursor, который частично построен на Kimi 2.5, китайской модели с открытым исходным кодом. “Они очень быстро признали, что да, мы использовали китайскую модель для создания этого”, — сказала она. “Но это может повлечь за собой регуляторные риски или риски соответствия требованиям”.
Например: Закон ЕС об ИИ обязывает организации документировать обучающие данные, характеристики методологии обучения и оценки рисков для “систем высокого риска”.
Wiz от Google в своих AI-BOMs также учитывает все инструменты на рабочей станции разработчиков, такие как ноутбук или интегрированная среда разработки, которые использовались при создании приложения ИИ.
“Многие люди определяют видимость или BOMs по тому, что фактически находится в конечном артефакте, но мы также расширяем определение BOMs в целом и AI-BOMs в частности, чтобы включить инструменты ИИ, которые использовались при создании этого приложения”, — сказал нам Зиад Галлеб, менеджер по техническому маркетингу продуктов в Wiz.
“И еще одним важным аспектом являются идентичности, привязанные к этим рабочим нагрузкам ИИ, потому что все эти агенты, модели, инструменты и т. д. привязаны к определенной идентичности внутри вашей среды”, — добавил Галлеб. “Таким образом, вам необходимо обращать внимание на эти нечеловеческие идентичности, связанные с этими системами. Речь идет не только о ресурсах. Речь идет также об идентичностях и наборах разрешений, которые к ним привязаны”.
Все это сводится к видимости и безопасности. “Если у вас нет видимости этих рабочих нагрузок, вы не можете по-настоящему понять, что именно нужно защищать”, — сказал Свонсон.
Защита от отравлений
Не только предприятия безумно спешат внедрять инструменты ИИ в свои рабочие нагрузки и процессы, как, вероятно, знают все, кто читает The Reg. Преступники также используют эти же инструменты, чтобы двигаться быстрее и сделать свои атаки более эффективными.
Как Шеррод ДеГриппо, генеральный менеджер по глобальной разведке угроз в Microsoft, рассказала The Register в предыдущем интервью: это включает такие задачи, как проведение разведки на скомпрометированных компьютерах, а также развертывание и управление инфраструктурой атак.
“Агентская, автоматизированная разведка против систем — это то, на что стоит обратить внимание”, — сказала ДеГриппо. “Иди, узнай о XYZ, и вернись ко мне со всем, что увидел. Иди, просканируй сетевые блоки, принадлежащие этой конкретной организации”.
По словам Свонсона, это также случай, когда наличие AI-BOM может помочь защитникам быстрее реагировать. Он говорит, что не может назвать компанию, но в одном инциденте, на который реагировала Palo Alto Networks, преступная группа использовала ИИ для разведки организации-жертвы и обнаружения открытых конечных точек.
“Одна из вещей, которую они сделали, — это получили доступ к системным промптам, инструкциям для рабочей нагрузки ИИ, которые говорят ей, что она может делать, а что не может”, — сказал Свонсон. И как только злоумышленник получил доступ к системным промптам внутреннего ИИ компании, он изменил их, чтобы заставить ИИ делать то, чего он не должен был делать, — например, красть данные и отправлять их на внешний почтовый ящик.
AI-BOM предоставит понимание конфигураций и зависимостей системы ИИ в определенном состоянии в определенный момент времени — а также укажет на любые изменения.
“Если бы у вас было понимание состояния и понимание изменений состояния, вы могли бы вернуться к ведомости компонентов ИИ и сказать: ‘Какой системный промпт использовался среди ингредиентов для создания приложения ИИ?’ А затем увидеть, что он изменился с предыдущего состояния на новое. Так что нам, вероятно, следует это проверить и посмотреть, не происходит ли здесь что-то плохое”, — сказал Свонсон. “И в этом случае вы смогли бы это поймать”.
Другие атаки на цепочки поставок, такие как отравление моделей и отравление навыков, подчеркивают риски, связанные с незнанием того, какие инструменты ИИ находятся в ИТ-среде.
“Навыками, которые люди используют в координации со многими из этих помощников по кодированию, довольно легко манипулировать, и поэтому важно иметь возможность сканировать их, чтобы убедиться, что кто-то не манипулирует возможностями”, — сказал Свонсон. Если навык должен предоставлять прогноз погоды, он не должен также красть учетные данные или раскрывать секреты, пояснил он.
“Понимайте изменения состояния, постоянно сканируйте эти артефакты на предмет рисков для цепочки поставок, а затем в момент выполнения, когда ваше приложение ИИ активно, также отслеживайте все коммуникации, чтобы убедиться, что не происходит ничего плохого”, — сказал Свонсон.
AI-BOM (и их программные аналоги) также могут помочь организациям быстро идентифицировать скомпрометированный код с открытым исходным кодом, работающий в корпоративных системах. Например: недавняя волна отравленных пакетов npm и PyPI и более ранняя атака червя-похитителя учетных данных Shai-Hulud. Обе эти кампании были нацелены на код, который обычно интегрируется в приложения ИИ.
Даже при отсутствии идентификатора CVE, AI-BOM позволяет пользователям запрашивать “связанные библиотеки или пакеты” и затем идентифицировать любые вредоносные версии в своей среде, сказал Галлеб. “К ним не привязан CVE, но, по крайней мере, вы знаете, как их удалить, чтобы сдержать развивающуюся угрозу”. ®
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jessica Lyons
