ИИ-агенты оказываются куда более сложными в управлении, чем надеялись их создатели.
Недавние инциденты, связанные с неожиданными действиями агентов — включая доступ ИИ-системы к австралийскому правительственному порталу после отказа в первоначальном запросе — вновь привлекли внимание к рискам предоставления ИИ-системам большей автономии.
Отрасль движется к все более автономным сетям, где ИИ-агенты развертываются для анализа сетевых данных, выявления неисправностей и рекомендации действий, в то время как долгосрочная цель состоит в том, чтобы эти системы принимали и исполняли операционные решения без вмешательства человека.
Для телекоммуникационных операторов это быстро становится определяющим вопросом: сколько автономии операторы могут безопасно предоставить ИИ-агенту, если они не могут доказать, что он сделал, почему он это сделал, или остался ли он в установленных границах?
Это возникающая проблема, связанная с доверенным ИИ и автономией — не просто вопрос о том, может ли ИИ-модель выполнить задачу, а может ли оператор гарантировать ее поведение, когда ей предоставлено право действовать.
Есть признаки того, что операторы уже предпринимают шаги для решения этих проблем. В недавней статье Reuters технический директор T-Mobile US Джон Соу заявил агентству, что американская телекоммуникационная компания «увеличивает наши инвестиции в то, как мы отслеживаем и реагируем» на ИИ.
Тем временем, групповой технический директор AT&T Джереми Легг предупредил, что сторонние поставщики программного обеспечения и ИИ-агенты могут представлять риски кибербезопасности, выходящие за рамки отдельных телекоммуникационных сетей. «Существуют отраслевые проблемы, а не то, что AT&T может решить самостоятельно», — сказал Легг.
Однако для операторов ответ заключается не в том, чтобы замедлить свои ИИ-амбиции, а в том, чтобы их планы развивались вместе с технологией и угрозами, которые она представляет.
Терье Йенсен, глобальный директор по безопасности бизнеса в Telenor, считает, что телекоммуникационные компании должны идти в ногу с разработками и адаптировать свой подход по мере появления новой информации.
«Вы должны изменить свой план, но не только из-за этих передовых ИИ-моделей, а потому, что происходят события [с] новой информацией», — сказал он TelecomTV во время недавнего интервью.
Йенсен выделил четыре области, в которых Telenor реагирует на последние разработки.
Первая — это понимание того, что находится за пределами ажиотажа, и что возможности передовых моделей на самом деле означают для безопасности телекоммуникационных сетей и систем. Telenor тестировал эти модели на программном обеспечении и обнаружил, что они могут выявлять ряд уязвимостей, хотя Йенсен предостерег, что не все из них являются критическими или обязательно эксплуатируемыми.
Вторая — это применение этих возможностей к собственному программному обеспечению: Йенсен сказал, что ИИ-модели могут тестировать крайне маловероятные сценарии, которые люди-тестировщики могут упустить или отвергнуть как маловероятные. «ИИ-системы обладают лучшими возможностями. Они могут тестировать очень, очень маловероятные сценарии», — объяснил он. «Человек может сказать: „О, этого никогда не случится“. [Но ИИ] пойдет туда и может что-то найти».
Третья область касается поставщиков. Telenor спрашивает своих технологических партнеров, используют ли они передовые ИИ-модели, какие уязвимости они выявляют и каковы могут быть последствия для оператора. Йенсен сказал, что компания хочет получать ранние уведомления об уязвимостях, а не просто ждать, пока поставщики разработают и выпустят исправления. Тем временем операторам может потребоваться принять другие защитные меры, такие как активация брандмауэров.
Наконец, Telenor пересматривает свои планы обеспечения непрерывности бизнеса. Йенсен предупредил, что возможности передовых моделей могут привести к новым сценариям бедствий или кризисов, и операторам необходимо определить, адекватны ли их планы на случай непредвиденных обстоятельств и восстановления для их решения.
Таким образом, послание Йенсена заключается не в том, что операторы должны приостановить свои ИИ-стратегии, а в том, что они не могут позволить себе рассматривать эти стратегии как нечто фиксированное. По мере развития передовых моделей должен развиваться и способ оценки операторами их возможностей, управления выявленными уязвимостями и подготовки к последствиям.
Эталон доверенного ИИ
Это различие между автономией ИИ и доверием является центральным для работы отраслевой организации TM Forum, которая работает над созданием общей структуры для оценки того, можно ли доверять ИИ-системам работать независимо.
Гай Лупо, исполнительный вице-президент по доверенному ИИ и данным в TM Forum, утверждает, что отрасль до сих пор уделяла слишком мало внимания доказательствам, необходимым для демонстрации того, что автономные системы работают безопасно.
«Вы можете быть на уровне 4 автономии, но не быть доверенным», — сказал он TelecomTV.
Например, ИИ-агент может быть способен выявлять и устранять сетевые неисправности без вмешательства человека. Но может ли оператор продемонстрировать, откуда взялась модель, на каких данных она была обучена, какие инструкции она получила и почему приняла конкретное решение? Может ли он установить, какой агент предпринял действие, какие изменения были внесены и были ли эти действия в рамках предоставленных ему разрешений?
Лупо утверждает, что это фундаментальные вопросы, на которые операторы должны ответить, прежде чем передавать большую ответственность ИИ-системам. Наличие журналов не обязательно достаточно, предупредил он: операторы должны иметь возможность реконструировать решения и демонстрировать, что произошло, а не просто знать, что событие имело место.
«Автономия без доказанной гарантии — это прыжок веры, который отрасль не может себе позволить», — сказал он.
В октябре TM Forum объявил о своей новой сертификации Trustworthy AI Governance Certification в сотрудничестве с Accenture и при поддержке ServiceNow и Amazon Web Services (AWS), а также 10 телекоммуникационных компаний-основателей. Как сообщал TelecomTV, эта инициатива предоставляет общую структуру управления для отрасли и устанавливает уровни доверия и процесс сертификации для ИИ-систем.
Структура основана на том, что Лупо описывает как четыре «П» — политика, люди, процесс и платформенные средства контроля. Они предназначены для преобразования принципов ответственного ИИ в практические требования, при этом от операторов ожидается предоставление доказательств, демонстрирующих, как эти средства контроля реализованы и насколько эффективно они работают.
Необходимость такого подхода подчеркивается исследованиями TM Forum, проведенными совместно с Институтом бизнес-ценности IBM. Их опрос показал, что 72% поставщиков коммуникационных услуг считают свои ИИ-возможности надежными, но только 14% смогли предоставить доказательства, подтверждающие эту уверенность.
По мнению Лупо, проблема заключается в том, что многие операторы имеют политики и обязательства высокого уровня в отношении ответственного ИИ, но им не хватает операционных процессов и измерительных возможностей для демонстрации выполнения этих обязательств. Это включает мониторинг производительности моделей, обнаружение дрейфа, управление цепочками поставок данных и установление четких порогов приемлемого поведения.
Инициатива призвана помочь устранить этот разрыв, стремясь перейти от доверия как широкого принципа управления к чему-то, что можно измерить, оценить и в конечном итоге сертифицировать.
Хакатон
TM Forum уже начал применять некоторые из этих идей на практике. На своем хакатоне Trustworthy AI and Data Hackathon, проходившем в Далласе в октябре, более 200 разработчиков из 40 команд получили задание создать и протестировать средства управления и обеспечения в смоделированной автономной телекоммуникационной среде.
Команда-победитель Infyvibes из Infosys продемонстрировала, как можно отслеживать автономные операции и останавливать их при нарушении заданных пределов, с эскалацией решений человеку для утверждения. Их решение включало средства контроля расходов, записи событий и дрейфа производительности.
Другие команды разработали возможности, включая обнаружение вторжений для ИИ-агентов, которое использует информацию аудита инфраструктуры для выявления потенциально подозрительной активности.
В ходе мероприятия участники создали 196 дополнительных агентов и выполнили более 35 000 управляемых вызовов моделей. Для Лупо это упражнение стало возможностью продемонстрировать, что доверие должно быть встроено в системы и процессы, лежащие в основе автономных операций, а не добавляться как слой соответствия после развертывания.
«Перестаньте играть с Nvidia GPU и искусством возможного и вернитесь к основам — операционная деятельность, операционная деятельность, операционная деятельность!» — сказал он.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – James Pearce
