Хотя OpenAI была не единственной крупной технологической компанией, не подписавшей соглашение — Amazon, Google и Apple также не присоединились — она была наиболее очевидным отсутствующим игроком, особенно учитывая, что Anthropic является сторонником.
Однако, несмотря на отсутствие публичного обязательства OpenAI перед консорциумом, которое, предположительно, означает, что каждая компания будет использовать и продавать ту или иную версию технологии и вносить свой вклад в развитие проекта, представитель OpenAI сообщил TechCrunch, что компания поддерживает работу Nvidia.
Новая инициатива, получившая название Nvidia’s Open Agent Safety Platform, представляет собой попытку Nvidia распространить свою собственную, в значительной степени открытую технологию безопасности ИИ-агентов по всей экосистеме ИИ в качестве прямого ответа на инциденты с вышедшими из-под контроля ИИ-агентами, о которых сообщают передовые лаборатории, такие как Anthropic и OpenAI.
Генеральный директор Nvidia Йенсен Хуанг называет вышедших из-под контроля ИИ «обычной инженерной проблемой», которую можно решить, как и любую другую техническую задачу. Платформа Open Agent Safety Platform — это попытка Хуанга подкрепить свои слова делом.
OpenAI сотрудничает с Nvidia в области безопасности агентов, в том числе над одним из ключевых программных компонентов этой платформы: OpenShell. OpenShell — это программное обеспечение с открытым исходным кодом, которое создает изолированную среду, специально разработанную для предотвращения побега агентов.
Хотя по-прежнему вызывает удивление, что OpenAI не стала просто сторонником инициативы, как ее заклятый соперник Anthropic, тот факт, что передовая лаборатория ИИ поддерживает эту инициативу, является хорошей новостью.
Это связано с тем, что OpenAI, в частности, могла бы выиграть от этой технологии, по крайней мере, по словам основателя и генерального директора Hugging Face Клема Деланга (который продал свою компанию Nvidia за 12,9 миллиарда долларов в начале этого месяца).
«Насколько нам известно (воспринимайте с долей скепсиса, нам нужна гораздо большая прозрачность!), если бы @OpenAI использовала эту технологию для своих агентов, которые атаковали нас, они бы обнаружили их раньше нас!» — написал Деланг.
Деланг заявил, что Hugging Face уже внесла свой вклад в Open Agent Safety Platform, добавив функцию, которая обнаруживает и отключает ИИ-агентов, использующих веб-сайты, которые им разрешено посещать, но делают это несанкционированным образом. Например, эта функция сработает, если агенты обходят свои ограничения и координируют атаку, записывая друг другу сообщения в репозитории для хостинга кода с открытым исходным кодом.
Именно так, по словам OpenAI, рой ее вышедших из-под контроля агентов координировал атаку на Hugging Face.
Но есть и другая причина, по которой некоторые из этих крупных имен, включая OpenAI, могут не захотеть публично брать на себя обязательства по инициативам Nvidia. Для использования полной системы существует аппаратный компонент, который не является программным обеспечением с открытым исходным кодом, остается проприетарным и может быть развернут только на оборудовании Nvidia.
Платформа Open Agent Safety Platform предлагает не просто изолированную среду. Она также обеспечивает соблюдение поведения агентов на аппаратном уровне, где агенты не могут обнаружить, что за ними наблюдают. (Некоторые модели и агенты ИИ лгут и притворяются, что следуют правилам, когда знают, что за ними наблюдают.)
Часть аппаратного мониторинга полагается на Nvidia Sentry, проприетарную функцию, работающую на специальных процессорах Nvidia под названием BlueField-4. Sentry непрерывно отслеживает поведение агентов с помощью этих процессоров и может мгновенно отключать агентов, обещает Nvidia.
Хотя аппаратное решение, очевидно, является хорошей идеей, это означает, что Open Agent Safety Platform не является чисто открытым проектом. Это позволяет Nvidia гарантировать, что данное решение всегда будет работать наилучшим образом на ее собственном оборудовании. Действительно, Nvidia заявила, что для тех, кто уже использует ее новейшее оборудование, внедрение Open Agent Safety Platform является простым обновлением программного обеспечения.
Тем не менее, конкуренты Nvidia, включая Arm и Intel, подписались в качестве сторонников Open Agent Safety Platform, поскольку песочница OpenShell может быть модифицирована для работы с другими чипами и аппаратным обеспечением. И Nvidia делится эталонными дизайнами всей программно-аппаратной концепции.
Все это делает отсутствие OpenAI еще более заметным.
Очевидно, OpenAI рассматривает безопасность ИИ как возможность для независимости от своего основного инвестора Nvidia, а также как шанс продемонстрировать собственное лидерство. Это верно, даже несмотря на то, что именно ИИ-агенты OpenAI напугали отрасль инцидентом с Hugging Face.
Например, компания разрабатывает собственные меры безопасности для своих исследований и продуктов и раскрывает информацию о самых серьезных инцидентах, которые она обнаруживает. Между тем, у OpenAI есть собственный консорциум по кибербезопасности ИИ для обмена информацией под названием Defense Factory. Среди тех, кто поддержал эту идею, — Anthropic, Amazon Web Services и Google — многие из тех же имен, которые не присоединились к технологическому подходу Nvidia.
И, честно говоря, определенный уровень страха полезен для бизнеса. OpenAI активно развивает кибербезопасность как корпоративное предложение, начиная от собственной кибер-ориентированной модели Daybreak и заканчивая растущей сетью партнеров, которых предприятия могут нанять для внедрения безопасности ИИ.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Julie Bort
