Согласно Boston Consulting Group, только 5% компаний успешно извлекают выгоду из искусственного интеллекта (ИИ), несмотря на резкий рост ИТ-расходов на эту технологию. Остальные 95% с трудом превращают эти инвестиции в экономию затрат или рост выручки. Это та статистика, к которой мы начинаем привыкать, получая ее от консультантов и аналитиков, но что это означает на практике? Поскольку так много компаний приступают к проектам в области ИИ, одна из проблем, с которой они сталкиваются, заключается в понимании того, как системы ведут себя после запуска и действительно ли они приносят ожидаемые результаты. Это поднимает знакомые вопросы о сложности, устаревших системах и планировании проектов. Но это также поднимает вопрос о наблюдаемости (observability) и о том, достаточно ли инструментов, на которые сегодня полагаются организации, для эпохи ИИ? Наблюдаемость призвана дать организациям представление о том, как работают их системы. Объединяя метрики, логи и трассировки, она позволяет командам отслеживать производительность, диагностировать проблемы и понимать, как сервисы ведут себя после запуска. Однако, как и все остальное, она также подвержена тонкостям и различиям базовых инфраструктур данных. По словам Пейджмана Табассоми, технического директора EMEA в Datadog, организации часто испытывают трудности с сопоставлением операционных данных в различных системах и средах, что ограничивает их способность понимать, как сервисы ведут себя от начала до конца, или как производительность связана с бизнес-результатами. Он утверждает, что это становится более очевидным в проектах ИИ, где системы охватывают больше источников данных, сервисов и моделей, что затрудняет отслеживание и объяснение поведения. Джаррод Водрей, главный научный сотрудник по данным в Domino Data Lab, идет дальше. «Традиционные инструменты наблюдаемости были созданы для ответа на простой вопрос: работает ли система? Когда система ИИ принимает решения или взаимодействует с клиентами, «работает» не дает много информации». В этом и заключается проблема. Системы могут быть технически исправны, но при этом выдавать неверные результаты или вести себя так, что это трудно обнаружить с помощью традиционных инструментов мониторинга. Организации могут видеть, что системы работают, но не уверены, работают ли они должным образом.
Курица и яйцо
Итак, чего же надеются достичь предприятия? Согласно McKinsey, бизнес-лидеры переходят от «краткосрочной устойчивости к устойчивой производительности и долгосрочному влиянию», но 86% заявляют, что их организации не готовы внедрять ИИ в повседневные операции. Почему так? Это связано с видимостью? С первоначальными затратами? Или, возможно, с чем-то еще? Virgin Atlantic уже сталкивается с этим на практике. Авиакомпания внедрила консьержа на базе ИИ для поддержки клиентов, но мониторинг системы включает в себя гораздо больше, чем просто отслеживание производительности инфраструктуры. Инженеры оценивают поведение системы, проверяют точность, тон и уместность ответов и передают эти данные обратно в разработку, по сути, просматривая каждый клиентский «ход» в рамках постоянного цикла обратной связи. Проблема распространяется не только на производительность, но и на такие области, как безопасность. «Вы отходите от, возможно, более традиционных векторов атак, где вы смотрите на такие вещи, как инъекционные атаки или использование уязвимостей в системах, к более человеческим, убеждающим типам атак, когда пользователи пытаются манипулировать моделью с помощью языка», — говорит Марк О’Нил, старший менеджер по прикладной разработке ИИ в Virgin Atlantic. Это требует иного подхода к тестированию и мониторингу, при котором системы постоянно оцениваются в продакшене, а не просто проверяются на доступность или производительность. Проблема не только концептуальная, но и связана с масштабом. Поскольку системы ИИ генерируют все большие объемы данных, традиционные подходы к мониторингу с трудом успевают за этим. Джефф Шампейн, технический директор Cribl, описывает этот сдвиг как «цунами телеметрии» метрик, логов и трассировок, вызванное агентными системами, работающими со скоростью, намного превышающей человеческое взаимодействие. Он утверждает, что фокус смещается от состояния инфраструктуры к «логической целостности» — используют ли системы правильные данные, выдают ли точные результаты и действуют ли безопасно. Во многих случаях первопричиной проблемы является не сама модель, а конвейеры данных и последующие системы, от которых она зависит, что затрудняет диагностику проблем без видимости всего стека. Для платформ наблюдаемости это поднимает вопрос о том, что именно измеряется и могут ли текущие подходы соответствовать масштабу и сложности систем ИИ. Как выразился Водрей из Domino Data Lab, традиционные инструменты наблюдаемости были созданы для проверки того, работает ли система. В контексте ИИ, по его мнению, этого больше недостаточно. Аналитики утверждают, что это не просто проблема инструментов, а отражение того, как меняются сами корпоративные системы. Gartner определяет мультиагентные системы и нативные платформы разработки ИИ как ключевые тенденции, формирующие корпоративные ИТ, где приложения больше не статичны, а состоят из взаимодействующих компонентов, работающих в распределенных средах. В этой модели системы постоянно развиваются, принимая решения и совершая действия на нескольких уровнях инфраструктуры, данных и моделей. Gartner утверждает, что это увеличивает как сложность, так и операционный риск корпоративных ИТ, затрудняя установление четких причинно-следственных связей, когда что-то идет не так.
Появление интеллектуальной наблюдаемости
Это уже влияет на то, как развивается сама наблюдаемость. Согласно IBM, платформы становятся более интеллектуальными, чтобы не отставать от систем ИИ, при этом организации все чаще используют машинное обучение для анализа телеметрии, обнаружения аномалий и автоматизации реагирования. По сути, это становится случаем использования ИИ для наблюдения за ИИ. «Интеллект и скорость, необходимые для поддержания здоровья этих систем ИИ, также растут параллельно, требуя внедрения более инновационных и мощных типов интеллекта», — говорит Артур де Магальяэс, старший технический сотрудник по AIOps в IBM. В то же время Forrester утверждает, что наблюдаемость должна быть «вплетена в ткань» жизненного цикла разработки программного обеспечения, используя телеметрию в реальном времени для информирования о проектировании, тестировании и развертывании, а не реагировать на сбои в продакшене. Эти изменения уже влияют на проблемы, с которыми сталкиваются организации на практике. Табассоми говорит, что технические директора все больше внимания уделяют пониманию того, как используются системы, различая пользователей-людей, автоматизированных агентов и внешние сервисы, а также выявляя необычные модели поведения. Это имеет последствия, выходящие за рамки производительности. По мере расширения систем ИИ количества взаимодействий в различных средах они также увеличивают потенциальную поверхность атаки и риск неожиданного потребления ресурсов. «Наблюдаемость — это понимание того, что находится под угрозой, а также того, как работают системы», — говорит Табассоми. В этом контексте наблюдаемость используется не только для мониторинга инфраструктуры, но и для управления подверженностью рискам, затратами и операционным воздействием в рамках все более сложных систем. Это эволюция технологии, которая охватывает более широкий круг задач, чтобы помочь организациям справиться с разочарованием от фрагментации. Табассоми отмечает, что многие технические директора ищут большей консолидации в своих технологических средах, причем не только на уровне систем, но и между командами и рабочими процессами. Данные, инфраструктура и ответственность часто распределены между различными функциями, что затрудняет построение целостной картины того, как ведут себя сервисы или откуда возникают проблемы. По мере масштабирования сред это отсутствие согласованности может привести к неэффективности, замедлению времени реагирования и увеличению операционных расходов. Добавление ИИ в эту смесь лишь усугубляет головную боль. Возможно, поэтому растет ожидание, что наблюдаемость должна выходить за рамки простой видимости. По мере того как системы ИИ становятся более автономными, команды меньше интересуются дашбордами, описывающими поведение системы, и больше сосредоточены на том, какие действия следует предпринять в ответ. Это накладывает новые требования на платформы наблюдаемости, от которых все чаще ожидают, что они будут определять первопричины, расставлять приоритеты в проблемах и, в некоторых случаях, инициировать автоматизированные ответы. В этом смысле наблюдаемость приближается к поддержке принятия решений, а не просто к отчетности о производительности системы. Это приводит к переосмыслению назначения наблюдаемости. Наблюдаемость, безусловно, никуда не исчезает, но она несколько расширяется. Основная идея — объединение данных для понимания того, как ведут себя системы, — по-прежнему работает. Но в контексте ИИ поведение определяется не только производительностью. Оно включает выводы, решения, взаимодействия и их влияние на пользователей и бизнес. Уже есть признаки того, что организации реагируют. Gartner прогнозирует, что к 2027 году 70% предприятий, внедряющих распределенные архитектуры данных, будут использовать инструменты наблюдаемости данных, по сравнению с 50% в 2025 году, поскольку они стремятся улучшить видимость в все более сложных средах данных. Те же исследования отмечают, что традиционные реактивные подходы к мониторингу больше не достаточны в этих средах, особенно с учетом того, что инициативы в области ИИ предъявляют повышенные требования к качеству данных, управлению и анализу в реальном времени. Организациям нужен более полный обзор, сочетающий традиционную телеметрию с пониманием поведения, контекста и результатов. Задача состоит в том, как адаптировать наблюдаемость к системам, которые менее предсказуемы, более автономны и сложнее для интерпретации. Конечно, технологии имеют свойство решать проблемы, а затем создавать новые. Наблюдаемость является частью этого цикла, пытаясь не отставать от систем, которые становятся еще более неуловимыми. Как говорит Шампейн из Cribl: «Истинная наблюдаемость в эту эпоху требует видимости по всему стеку, а не только по модели».”
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Marc Ambasna-Jones
