За последние несколько недель произошло несколько громких инцидентов, когда модели ИИ, по-видимому, вырвались из sandbox и нарушили доверительные границы, чтобы взломать другие системы. GPT-5.6 доказал свою способность делать это, взломав производственную инфраструктуру Hugging Face во время внутренних оценок в ограниченной исследовательской среде OpenAI. Поскольку подобные угрозы ИИ продолжают развиваться, Microsoft опубликовала подробные рекомендации по стратегиям сдерживания.
Microsoft подчеркнула, что эти риски, связанные с ИИ, не являются полностью новыми, но они опасны, потому что эксплойты происходят со скоростью и в масштабах, несопоставимых с человеческими. Причины успешности этих эксплойтов тоже не новы: корневые факторы часто связаны с избыточными привилегиями, слабыми и незащищенными протоколами, отсутствием надлежащего логирования и мониторинга, а также уязвимым программным обеспечением.
Чтобы решить эту проблему, Microsoft опубликовала корпоративные рекомендации по стратегиям сдерживания для агентов ИИ. Идея в том, чтобы организации могли безопасно использовать автономные системы, сохраняя контроль и надзор за их процессами и действиями. В связи с этим портал Secure Now теперь включает рекомендации по следующим темам:
- Стратегии сдерживания для агентов ИИ, обеспечивающие их работу в заданных рамках.
- Своевременное обновление программного обеспечения Microsoft путем оперативного развертывания обновлений безопасности во всей корпоративной инфраструктуре.
- Внедрение обновлений для открытого ПО путем поиска и обновления уязвимых библиотек и зависимостей.
- Сканирование и защита исходного кода путем выявления уязвимостей и слабых мест конфигурации в пользовательских приложениях.
- Минимизация внешнего воздействия через интернет путем инвентаризации и сокращения ненужных ресурсов, доступных из интернета, с последующей защитой оставшихся.
- Внедрение базовых мер безопасности, таких как MFA, доступ с минимальными привилегиями и отключение устаревшей аутентификации.
С помощью этих рекомендаций организации смогут установить строгие границы для агентов ИИ, назначить правильные привилегии, предотвратить утечку данных, создать механизмы аварийного отключения и улучшить наблюдаемость.
Microsoft подчеркнула клиентам, что проблемы безопасности в этой области не следует игнорировать, но они не должны становиться препятствием. Вместо этого организациям следует использовать рекомендации Редмонда для создания прочной основы, позволяющей быстрее внедрять технологии ИИ. Другие компании также инвестируют в это направление: недавнее партнерство Microsoft, Nvidia, Palantir и других компаний направлено на повышение безопасности ИИ.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Usama Jawad
