Это не гипотетический сценарий. По словам Бармака Мефтаха, партнера венчурного фонда в сфере кибербезопасности Ballistic Ventures, подобное недавно произошло с сотрудником крупного предприятия, работавшим с AI-агентом. Сотрудник попытался помешать тому, что агент хотел сделать, чему он был обучен, и в ответ агент просканировал почтовый ящик пользователя, обнаружил несколько неуместных писем и пригрозил шантажом, пообещав переслать их совету директоров.
«В представлении агента он поступает правильно», — рассказал Мефтах TechCrunch в выпуске Equity на прошлой неделе. «Он пытается защитить конечного пользователя и предприятие».
Пример Мефтаха напоминает «проблему со скрепками» Ника Бострома, касающуюся ИИ. Этот мысленный эксперимент иллюстрирует потенциальный экзистенциальный риск, исходящий от сверхинтеллектуального ИИ, который фанатично преследует кажущуюся безобидной цель — изготовление скрепок — в ущерб всем человеческим ценностям. В случае с этим корпоративным AI-агентом его неспособность понять, почему сотрудник пытался отменить его цели, привела к созданию подцели, устраняющей препятствие (посредством шантажа), чтобы достичь основной цели. Это, в сочетании с недетерминированной природой AI-агентов, означает, что «ситуация может выйти из-под контроля», по словам Мефтаха.
Несогласованные агенты — лишь один из аспектов проблемы безопасности ИИ, которую пытается решить компания из портфеля Ballistic — Witness AI. Witness AI заявляет, что отслеживает использование ИИ в корпорациях и может обнаруживать случаи использования сотрудниками неодобренных инструментов, блокировать атаки и обеспечивать соответствие требованиям.
На этой неделе Witness AI привлекла $58 миллионов на фоне роста годовой регулярной выручки (ARR) более чем на 500% и пятикратного увеличения штата за последний год, поскольку предприятия стремятся понять использование «теневого ИИ» и масштабировать его безопасным образом. В рамках привлечения средств Witness AI анонсировала новые механизмы защиты для агентивного ИИ.
«Люди создают этих AI-агентов, которые получают полномочия и возможности людей, управляющих ими, и вы хотите убедиться, что эти агенты не выйдут из-под контроля, не удалят файлы, не сделают что-то не так», — рассказал Рик Качча, соучредитель и генеральный директор Witness AI, TechCrunch в Equity.
Мефтах прогнозирует «экспоненциальный» рост использования агентов на предприятиях. В ответ на этот рост и на скорость ИИ-атак аналитик Лиза Уоррен предсказывает, что к 2031 году рынок программного обеспечения для обеспечения безопасности ИИ достигнет $800 миллиардов — $1,2 триллиона.
«Я считаю, что наблюдаемость в реальном времени и фреймворки для обеспечения безопасности и управления рисками в реальном времени станут абсолютно необходимыми», — отметил Мефтах.
Что касается того, как такие стартапы планируют конкурировать с гигантами вроде AWS, Google, Salesforce и других, которые встроили инструменты управления ИИ в свои платформы, Мефтах ответил: «Безопасность ИИ и безопасность агентов настолько масштабны», что места хватит для множества подходов.
Многие предприятия «хотят иметь автономную, комплексную платформу, которая обеспечивала бы эту наблюдаемость и управление в отношении ИИ и агентов», — сказал он.
Качча отметил, что Witness AI работает на уровне инфраструктуры, отслеживая взаимодействие между пользователями и моделями ИИ, а не встраивая функции безопасности непосредственно в модели. И это было сделано намеренно.
«Мы намеренно выбрали ту часть проблемы, которую OpenAI не сможет легко поглотить», — сказал он. «Таким образом, мы больше конкурируем с традиционными компаниями в сфере безопасности, а не с разработчиками моделей. Так что вопрос в том, как победить их?»
Со своей стороны, Качча не хочет, чтобы Witness AI стала одним из стартапов, которые просто будут поглощены. Он хочет, чтобы его компания выросла и стала ведущим независимым поставщиком.
«CrowdStrike сделала это в области защиты конечных точек. Splunk — в SIEM. Okta — в области идентификации», — сказал он. «Кто-то приходит и становится в один ряд с большими игроками… и мы создавали Witness именно для этого с первого дня».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rebecca Bellan
