Год агентивного ИИ принес обещания значительного повышения производительности для бизнеса, но спешка с внедрением новых инструментов и сервисов также открыла новые пути для атак в корпоративной среде.
Вот некоторые из основных рисков для экосистемы ИИ, выявленные в этом году исследователями в области безопасности, как в реальных условиях, так и в виде атак, продемонстрированных исследователями.
Теневой ИИ и уязвимые инструменты ИИ
Предоставление сотрудникам свободы экспериментировать с инструментами ИИ для автоматизации бизнес-процессов может показаться хорошей идеей, способной выявить креативные решения. Но это может быстро выйти из-под контроля, если не будет осуществляться в рамках строгой политики и мониторинга.
Недавний опрос 2000 сотрудников компаний из США и Великобритании показал, что 49% используют инструменты ИИ, не санкционированные их работодателями, и что более половины не понимают, как их входные данные хранятся и анализируются этими инструментами.
Развертывание всех инструментов и сервисов, связанных с ИИ, как на локальных серверах, так и в облаке, должно осуществляться с участием команды безопасности, чтобы выявлять небезопасные конфигурации или известные уязвимости.
В своем отчете о состоянии облачной безопасности за 2025 год компания Orca Security сообщила, что 84% организаций в настоящее время используют инструменты, связанные с ИИ, в облаке, и что 62% имеют как минимум один уязвимый пакет ИИ в своих средах.
В отдельном отчете Cloud Security Alliance сообщается, что треть организаций столкнулась с утечкой данных в облаке, связанной с рабочей нагрузкой ИИ, причем 21% этих инцидентов были вызваны уязвимостями, 16% – неправильно настроенными параметрами безопасности и 15% – скомпрометированными учетными данными или слабой аутентификацией.
Даже в инструментах ИИ, выпущенных крупными поставщиками, регулярно выявляются и исправляются уязвимости. Примеры этого года включают:
- Критическое удаленное выполнение кода (RCE) в платформе AI agent с открытым исходным кодом Langflow, которое также использовалось в реальных условиях.
- Уязвимость RCE в Codex CLI от OpenAI
- Уязвимости в NVIDIA Triton Inference Server
- Уязвимости RCE в основных фреймворках серверов логического вывода ИИ, включая фреймворки от Meta, Nvidia, Microsoft и проекты с открытым исходным кодом, такие как vLLM и SGLang.
- Уязвимости в вычислительном фреймворке с открытым исходным кодом Ray
Отравление цепочки поставок ИИ
Компаниям, разрабатывающим программное обеспечение с использованием библиотек и фреймворков, связанных с ИИ, необходимо знать, что их разработчики могут стать мишенью. Проверка источника моделей ИИ и пакетов разработки имеет жизненно важное значение.
В этом году исследователи безопасности из ReversingLabs обнаружили вредоносное ПО, спрятанное в моделях ИИ, размещенных на Hugging Face, крупнейшей онлайн-базе данных хостинга моделей с открытым исходным кодом и других ресурсов машинного обучения. Отдельно они также обнаружили троянизированные пакеты в Python Package Index (PyPI), выдающие себя за SDK для взаимодействия с облачными сервисами ИИ от Aliyun AI Labs, исследовательского подразделения Alibaba Cloud в области ИИ.
В обоих случаях злоумышленники использовали формат сериализации объектов Pickle, чтобы скрыть свой код, формат Python, который обычно используется для хранения моделей ИИ, предназначенных для использования с PyTorch, одной из самых популярных библиотек машинного обучения.
Кража учетных данных ИИ
Злоумышленники также внедряют ИИ в свои операции и предпочли бы делать это, не платя и под чужим именем. Кража учетных данных, которые можно использовать для доступа к LLM через официальные API или сервисы, такие как Amazon Bedrock, в настоящее время широко распространена и даже получила название: LLMjacking.
В этом году Microsoft подала гражданский иск против группировки, специализирующейся на краже учетных данных LLM и использовании их для создания платных сервисов для других киберпреступников, чтобы генерировать контент, обходя обычные встроенные этические гарантии.
Большое количество API-вызовов к LLM может привести к значительным затратам для владельцев украденных учетных данных, при этом исследователи оценивают потенциальные затраты более чем в 100 000 долларов в день при запросе передовых моделей.
Prompt-инъекции
Инструменты ИИ также поставляются с совершенно новыми типами уязвимостей безопасности, наиболее распространенной из которых является так называемая prompt-инъекция, которая проистекает из того факта, что очень трудно контролировать, что LLM интерпретирует как инструкции для выполнения или как пассивные данные для анализа. По замыслу, различий нет, поскольку LLM не интерпретируют язык и намерения так, как это делают люди.
Это приводит к сценариям, когда данные, передаваемые в LLM из стороннего источника — например, в форме документа, входящего электронного письма, веб-страницы и так далее — могут содержать текст, который LLM будет выполнять как prompt. Это известно как косвенная prompt-инъекция и является серьезной проблемой в эпоху агентов ИИ, когда LLM связаны со сторонними инструментами, чтобы иметь возможность получать доступ к данным для контекста или для выполнения задач.
В этом году исследователи продемонстрировали атаки prompt-инъекциями в помощниках по кодированию ИИ, таких как GitLab Duo, GitHub Copilot Chat; на платформах агентов ИИ, таких как ChatGPT, Copilot Studio, Salesforce Einstein; браузерах с поддержкой ИИ, таких как Comet от Perplexity, Copilot для Edge от Microsoft и Gemini для Chrome от Google; в чат-ботах, таких как Claude, ChatGPT, Gemini, Microsoft Copilot; и многое другое.
Эти атаки могут, по крайней мере, привести к утечке конфиденциальных данных, но также могут обманом заставить агента ИИ выполнять другие мошеннические задачи, используя имеющиеся в его распоряжении инструменты, включая потенциально вредоносное выполнение кода.
Prompt-инъекции представляют собой риск для всех пользовательских агентов ИИ, созданных организациями, которые передают данные третьих сторон в LLM, и смягчение этого риска требует многоуровневого подхода, поскольку ни одна защита не является идеальной. Это включает в себя принудительное разделение контекста путем разделения различных задач на разные экземпляры LLM и использование принципа наименьших привилегий для агента или инструментов, к которым он имеет доступ, использование подхода «человек в цикле» для утверждения конфиденциальных операций, фильтрацию ввода на наличие текстовых строк, которые обычно используются в prompt-инъекциях, использование системных подсказок для указания LLM игнорировать команды из полученных данных, использование структурированных форматов данных и многое другое.
Мошеннические и уязвимые MCP-серверы
Протокол контекста модели (MCP) стал стандартом для взаимодействия LLM с внешними источниками данных и приложениями для улучшения их контекста для рассуждений. Протокол получил быстрое распространение и является ключевым компонентом в разработке агентов ИИ, и в настоящее время в Интернете опубликованы десятки тысяч MCP-серверов.
MCP-сервер — это компонент, который позволяет приложению предоставлять свои функциональные возможности LLM через стандартизованный API, а MCP-клиент — это компонент, через который осуществляется доступ к этой функциональности. Интегрированные среды разработки (IDE), такие как Microsoft Visual Studio Code или основанные на ней, такие как Cursor и Antigravity, изначально поддерживают интеграцию с MCP-серверами, и инструменты командной строки, такие как Claude Code CLI, также могут получать к ним доступ.
MCP-серверы можно размещать и загружать откуда угодно, например, из GitHub, и они могут содержать вредоносный код. Недавно исследователи показали , как мошеннический MCP-сервер может внедрить вредоносный код во встроенный браузер из Cursor IDE.
Однако MCP-серверы не обязательно должны быть намеренно мошенническими, чтобы представлять угрозу безопасности. Многие MCP-серверы могут иметь уязвимости и неправильные конфигурации и могут открыть путь для внедрения команд ОС. Связь между MCP-клиентами и MCP-серверами также не всегда безопасна и может быть подвержена атаке под названием перехват prompt-ов, когда злоумышленники могут получить доступ к серверам, угадывая идентификаторы сеансов.
Всегда имейте в виду, что редакции некоторых изданий могут придерживаться предвзятых взглядов в освещении новостей.
8/10
Автор – Lucian Constantin
