Когда речь заходит об ИИ-моделях, безопасность часто остается на втором плане, что подтверждается увеличением случаев, когда агенты взламываюторганизации и людей, а также другимиинцидентами безопасности с вышедшими из-под контроля агентами. Это также открывает возможности для компаний, предлагающих новые решения.
По словам инвесторов в кибербезопасность и руководителей акселераторов, это не должно никого удивлять.
«С одной стороны, нам не стоит удивляться тому, что все более способные агенты находят креативные, а иногда и неожиданные способы достижения своих целей», — заявил Мэтт Хартман, директор по стратегии Merlin Group, в интервью The Register. «С другой стороны, мы не можем мириться с вредоносным поведением как с неизбежным или неуправляемым».
Это та же история, которая разворачивается с каждой новой технологией, от ноутбуков до облачных вычислений, сказал Тодд Грэм, управляющий партнер венчурного фонда M12 от Microsoft.
«Каждый раз, когда мы создавали новую инфраструктуру, мы удобно забывали о безопасности», — сказал Грэм The Register.
В этом и заключается возможность для компаний на ранних стадиях развития в сфере безопасности.
«Если бы ноутбуки были по умолчанию безопасны, у нас бы не было CrowdStrike», — сказал Грэм. «Если бы облако было по умолчанию безопасным, у нас бы не было Wiz. Если бы идентификация не была по умолчанию безопасной, у нас бы не было множества надстроек для Active Directory и Okta».
«Многие корабли поднимутся на этой волне» в области безопасности ИИ, добавил он.
Отличие ИИ заключается в скорости развития моделей. В то время как компании внедряли облачные технологии в течение нескольких лет, организации стремительно внедряют агентов и другие инструменты ИИ в свои производственные среды, предоставляя им доступ к наиболее критически важным данным и приложениям. Однако они не имеют четкого представления о том, как управлять, защищать или даже идентифицировать агентов, которые уже действуют в их системах.
«Это переход, происходящий месяц за месяцем, и, учитывая темпы изменений, которые мы наблюдаем на рынке, я нисколько не удивлен, что эта проблема достигла кульминации весьма драматическим образом», — сказал Грэм. «Произошедшие инциденты — я не собираюсь их оправдывать, но они должны послужить тревожным звонком. Сейчас такой момент, когда нам нужно внедрить безопасность, и мы должны делать это быстрее».
«Корабли поднимутся» на волне ИИ
Хартман присоединился к Merlin после продолжительной карьеры в федеральной кибербезопасности, включая руководящие должности в Агентстве по кибербезопасности и защите инфраструктуры США. В своей роли в частном секторе он помогает определять, в какие компании кибербезопасности на ранних и развивающихся стадиях инвестирует группа, а затем работает с этими фирмами над масштабированием их технологий в государственных, критически важных инфраструктурных и других строго регулируемых рынках.
«Нас особенно интересует уровень безопасности, регулирующий поведение агентов: идентификация для нечеловеческих субъектов, четкие ограничения на то, к чему они могут получить доступ и что могут делать, а также аудиторский след действий, предпринятых от имени агентства», — сказал он. «Агентства не просто спрашивают, как внедрить агентов, они спрашивают, как их ограничить и доказать, что сделал тот или иной агент во вторник в 2 часа ночи».
Но хотя «возможности огромны», основателям стартапов нужно делать больше, чем просто создавать продукт для безопасности агентов ИИ. «ИИ сделал создание продукта быстрее и дешевле, чем когда-либо, поэтому планка для дифференциации постоянно растет», — сказал Хартман. «По мере снижения стоимости разработки технологий ценность смещается в сторону дифференцированных возможностей и способности вывести их на рынок. Основатели, которые могут сделать и то, и другое, имеют реальную возможность определить эту категорию».
Грэм также говорит, что конечные пользователи ищут продукты для управления идентификацией и доступом агентов — «Я искренне верю, что кто-то создаст следующий Okta, так же, как SaaS породил Okta», — но добавляет, что видит, как несколько основателей «думают слишком мелко».
«Я вижу много компаний, которые решают лишь малую часть проблемы», — сказал Грэм. «И реальность такова, что если я CISO в компании из списка Fortune 500, я ни за что не куплю 15 разных инструментов для выполнения одной задачи. Если вы посмотрите на стандартный стек идентификации, который у нас был для людей довольно давно, он включает управление, контроль доступа, авторизацию, доступ. Для агентов кто-то должен будет предложить нам комплексное решение».
Идентификация агентов — следующий единорог
Однако, когда речь идет о нечеловеческих идентификаторах, это очень большая и сложная задача. Служебные учетные записи остаются основной целью для хакеров, поскольку они обычно имеют высокие привилегии и пароли, которые никогда не истекают. Обеспечение безопасности этих нечеловеческих учетных записей по-прежнему является проблемой для команд безопасности — и это еще до того, как агенты появились в системе.
Помимо идентификации агентов, безопасность конечных точек ИИ — представьте себе это как CrowdStrike для ИИ — еще одна область, богатая возможностями для изобретательных стартапов, сказал Грэм.
Он говорит, что это вызов, который он лично хотел бы принять как основатель, но ему запрещено начинать новые компании, поэтому этого не произойдет.
«Если произойдет взлом, и вас вызовут в Конгресс, чтобы объяснить, почему у вас не был включен антивирус [или] EDR, вы довольно быстро добавите безопасность конечных точек ИИ в этот список», — сказал Грэм. «Это кажется очень горячей областью, которая все еще достаточно ранна, если кто-то захочет создать качественное решение».
Существующие поставщики решений для конечных точек и антивирусов «абсолютно» создадут продукты для заполнения этой ниши, добавил он. «Но снова возникает ощущение, что наступает момент, когда разрушение коснется всех, особенно тех, у кого есть, знаете ли, существующие обязательства по решению проблем».
Грэм признает, что он «обеспокоен» недавним реальным вредоносным поведением ИИ-агентов. «Если оставить их без контроля, если предоставить им полную свободу действий, я очень обеспокоен тем, к чему это приведет», — сказал он.
Тем не менее, он «успокоен», потому что видел, как этот сценарий разыгрывался раньше, когда безопасность пыталась не отставать от развития инфраструктуры. Грэм также был «приятно удивлен» теперь уже печально известным эссе генерального директора Anthropic Дарио Амодея «Мы должны идти в ногу с передовыми технологиями».
«Я не придерживаюсь циничного мнения, что это какой-то грандиозный заговор с целью обойти антимонопольное законодательство», — сказал он нам.
«Я верю, что ИИ — это потрясающий инструмент, который кардинально изменит многие жизни к лучшему. Но мы должны приложить усилия сейчас», — сказал Грэм. «Мы слишком долго откладывали решение проблем безопасности, и теперь нам нужно их решить». ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jessica Lyons
