Что бы вы ни думали о нем, неоспоримый факт, что Йенсен Хуанг из NVIDIA — дальновидный лидер, обладающий именно тем предвидением, которое необходимо для управления одним из крупнейших предприятий в мире.
И если вам нужны доказательства, взгляните на сегодняшнее событие: NVIDIA, похоже, достигла многовекторных целей, анонсировав новое вспомогательное решение, связанное с системами защиты ИИ-агентов.
Платформа NVIDIA Open Agent Safety объединяет решение типа «песочница» для ИИ-агентов с аппаратным сторожевым таймером, использующим DPUs NVIDIA BlueField-4
За последние несколько недель мы стали свидетелями нескольких наполненных гиперболами заявлений от Anthropic и OpenAI: от предупреждений о более чем 10-процентной вероятности того, что ИИ уничтожит человечество в следующем десятилетии, до скоординированного ажиотажа вокруг ИИ-агентов, якобы вырвавшихся из «песочницы» для взлома других сущностей, что привело к призывам замедлить развитие ИИ. Неважно, что Anthropic и OpenAI не следуют своим же словам, поскольку обе ИИ-лаборатории выпустили новые модели на прошлой неделе.
На этом фоне NVIDIA сегодня сделала своего рода мастерский ход. Представляем платформу NVIDIA Open Agent Safety, состоящую из двух основных элементов:
- OpenShell — это среда выполнения с открытым исходным кодом, которая помещает ИИ-агентов в «песочницу» на уровне ядра, ограничивая агентов только одобренными методами доступа, не допуская реальных учетных данных. По сути, этот программный уровень контролирует доступ к файлам, инструментам и внешним службам, защищает учетные данные и записывает решения о разрешениях.
- Sentry — это сторожевой таймер, работающий на DPUs NVIDIA BlueField-4, который считывает рассуждения данного ИИ-агента за пределами хост-среды. Этот аппаратный уровень также может в течение миллисекунд помещать в карантин агентов, пытающихся выйти за пределы своих границ.
Теперь о главных последствиях этого шага. Во-первых, платформа позволяет NVIDIA фактически свести на нет призывы к замедлению развития ИИ, что иначе было бы не очень выгодно для ее прибыли. В конце концов, если вы можете эффективно изолировать ИИ-агентов, зачем тратить больше времени на согласование и темпы выпуска моделей?
Во-вторых, платформа Open Agent Safety призвана увеличить спрос на продукты NVIDIA, особенно поскольку Sentry работает только на DPUs BlueField-4. Это также позиционирует продукты NVIDIA как самые безопасные в отрасли, что должно добавить еще один слой, связанный со спросом, к активам гиганта GPU.
Критически важно, однако, что Sentry работает только в том случае, если цепочка рассуждений модели видима. Это должно работать для большинства моделей с открытым весом из Китая и послужить стимулом для Anthropic и OpenAI открыть трассировки рассуждений своих моделей для проверки, что мы ранее рекомендовали для противодействия угрозе вышедшего из-под контроля ИИ.
Конечно, одна из основных причин, по которой Anthropic и OpenAI пытались скрыть трассировки рассуждений своих моделей, связана со склонностью китайских ИИ-лабораторий к дистилляции этих проприетарных моделей. Йенсен Хуанг, похоже, сегодня также затронул эту тему, назвав дистилляцию «конкуренцией», а не кражей:
«Я бы очень хотел, чтобы никто не учился на наших продуктах, и чтобы мы имели преимущество, просто двигаясь вперед. Но, честно говоря, конкуренция делает все лучше».
И, конечно же, модели с открытым весом требуют гораздо больше вычислительных ресурсов, поскольку они обычно развертываются на периферийных узлах, и каждое крупное предприятие теперь пытается контролировать свои собственные вычислительные узлы и связанные с ними данные. Поэтому неудивительно, что Хуанг в наши дни выступает за открытые модели.
Итак, вот оно: одно предложение теперь дает NVIDIA существенные преимущества в области безопасности, сводит на нет призывы к замедлению развития ИИ, продвигает модели с открытым весом и увеличивает спрос на существующие продукты NVIDIA. Действительно продуктивный день!
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Rohail Saleem
