Новости: guardrails

Злоумышленники могут превратить механизмы защиты ИИ-агентов в оружие для атак типа «отказ в обслуживании» (DoS), согласно новому исследованию. Ученые обнаружили, что один отравленный документ может существенно замедлить общие рабочие процессы ИИ-агентов, загнав системы безопасности, основанные на логическом выводе, в длительные циклы размышлений. «Механизмы защиты, основанные на логическом выводе, создают новую поверхность для атак, где сами механизмы безопасности становятся мишенью», — написали исследователи из Университета […] — csoonline.com

Командам по безопасности рекомендуют использовать ИИ-копилоты для моделирования угроз и фишинговых симуляций, но корпоративные ИИ-системы не справляются с реалистичными оборонительными сценариями из-за строгих фильтров безопасности, которые не различают легитимную работу и злоупотребления. — csoonline.com