Новости: red teaming

Исследователи взломали официальные репозитории Anthropic, Google и OpenAI через GitHub issues. Уязвимости не в моделях, а в слое harness — коде, который даёт ИИ-агенту инструменты и доступ. Узнайте, как защитить агентов, тестировать обвязку и контролировать её цепочку поставок.

Когда Рам Шанкар Сива Кумар запустил команду «красных команд» (red team) по ИИ в Microsoft в 2019 году, эта дисциплина едва существовала. «Раньше ходила шутка, что всех, кто работал в области тестирования ИИ на проникновение, можно уместить в 14-футовом катамаране», — рассказывает он CSO. В то время подход Microsoft был знаком любому специалисту по кибербезопасности: […] — csoonline.com

Что произойдет, если выпустить автономного ИИ-агента против другого автономного ИИ-агента? Он выстраивает цепочки уязвимостей, которые люди сочли бы безобидными, легко обходит средства контроля аутентификации и даже неожиданно выдает себя за Дональда Трампа, чтобы добиться своего. Именно это обнаружила компания CodeWall в недавнем эксперименте по краснокомандному тестированию, когда столкнула свой автономный ИИ-агент против агентов стартапа Jack & Jill. — csoonline.com