Новости: red teaming

Когда Рам Шанкар Сива Кумар запустил команду «красных команд» (red team) по ИИ в Microsoft в 2019 году, эта дисциплина едва существовала. «Раньше ходила шутка, что всех, кто работал в области тестирования ИИ на проникновение, можно уместить в 14-футовом катамаране», — рассказывает он CSO. В то время подход Microsoft был знаком любому специалисту по кибербезопасности: […] — csoonline.com

Что произойдет, если выпустить автономного ИИ-агента против другого автономного ИИ-агента? Он выстраивает цепочки уязвимостей, которые люди сочли бы безобидными, легко обходит средства контроля аутентификации и даже неожиданно выдает себя за Дональда Трампа, чтобы добиться своего. Именно это обнаружила компания CodeWall в недавнем эксперименте по краснокомандному тестированию, когда столкнула свой автономный ИИ-агент против агентов стартапа Jack & Jill. — csoonline.com