Хотя модель Jev, представленная в прошлом месяце компанией TypeSafe, заявляет о значительных преимуществах перед традиционными LLM, в отчете по безопасности, опубликованном в среду, утверждается, что ее упрощенный подход делает ее более уязвимой для некоторых видов атак по сравнению с традиционными LLM.
«В некоторых случаях [Jev] еще более уязвим для атак, причем как атаки с использованием враждебного текста, так и инъекции подсказок могут нарушить выходные данные модели, приводя к некорректным и потенциально разрушительным действиям», — говорится в записи в блоге исследователей из HiddenLayer.
TypeSafe не ответила на многочисленные запросы о комментариях.
LLM или что-то другое?
Существуют споры о том, является ли Jev технически большой языковой моделью (LLM). TypeSafe утверждает, что нет, в то время как HiddenLayer считает, что это так. TypeSafe даже придумала название для этой категории: System One, которую TypeSafe описала как «новый класс передовых моделей, созданных для принятия быстрых, структурированных решений, которые программное обеспечение может использовать напрямую». Jev — первый и на данный момент единственный продукт, отнесенный к категории System One.
Jev — это упрощенная модель, разработанная для взаимодействия между машинами. Такой подход позволяет ей выполнять задачи быстрее и использовать меньше токенов. Однако Казимир Шульц, директор по исследованиям безопасности в HiddenLayer и соавтор блога, заявил, что ускоренный подход лишает Jev некоторых механизмов контроля и защиты, которые существуют в традиционных LLM. Это означает, что Jev может попасться на некоторые уловки злоумышленников, которые текущие LLM обычно обнаруживают и отклоняют, сказал он в интервью.
Несмотря на это, «Jev — отличная модель. Ее стоит использовать. Она имеет гораздо более быстрое время отклика», — сказал он, добавив, что «у нее нет всех защитных механизмов», которые есть в традиционных LLM, поэтому некоторые атаки на нее проходят успешно, хотя должны были провалиться.
«Например, TokenBreak обычно не работает с большими LLM, но Jev уязвима к нему из коробки», — сказал Шульц.
Хотя простое добавление символов перед важными словами, как в оригинальной атаке TokenBreak, не дало больших результатов, в блоге HiddenLayer отметили: «мы заметили, что увеличение количества возмущений и улучшение их нацеленности привели к гораздо более высоким показателям успеха атаки».
Однако, хотя традиционные LLM обычно способны распознать такие атаки, в блоге отмечается: «модели System One кажутся уязвимыми. В результате к этому классу декодеров следует относиться с осторожностью, учитывая, что они подвержены как атакам на авторегрессионные LLM, так и атакам на классификаторы текста, предоставляя потенциальным противникам больше возможностей».
В посте приведены некоторые примеры:
«На симулированной странице оформления заказа рекламное объявление, контролируемое злоумышленником, заставило браузерный агент уйти с покупки пользователя [и отреагировать на рекламу], несмотря на инструкции рассматривать текст страницы как недоверенный», — говорится в нем. «В отдельном тесте классификации целенаправленные изменения в стиле TokenBreak снизили показатели токсичности для подсказок, которые обе модели изначально пометили».
В посте утверждается, что с Jev связано несколько рисков.
«Браузерный агент может немедленно нажать на выбранный элемент. Система модерации может разрешить ввод, показатель токсичности которого ниже порога. Система маршрутизации может отправить запрос другому инструменту или рабочему процессу. Каждое из этих действий превращает суждение модели в операционное решение, и, следовательно, в риск», — говорится в посте. «При оценке моделей System One тестируйте эти решения в приложении, где они будут использоваться. Включайте недоверенные веб-страницы, вводящий в заблуждение текст, связанный с задачей, и измененные входные данные, которые сохраняют их смысл, но меняют форму. Отслеживайте выбранные действия и показатели и устанавливайте независимые проверки для критически важных результатов. Имейте в виду, что, по сути, это все еще языковые модели».
Аналитики согласились как с методологией отчета, так и с его техническими выводами, одновременно отмечая, что вывод поставщика услуг безопасности о том, что новый подход небезопасен, несколько саморекламен.
Филипп Харрис, директор по исследованиям IDC, отметил, что методология, описанная в блоге, «является обоснованной и соответствует установленной практике тестирования безопасности ИИ: создание контролируемой тестовой среды и проверка на наличие враждебных манипуляций и внедрений — это именно правильный подход».
Однако вице-президент Gartner, аналитик Надер Хенейн добавил, что Jev, представленная 15 сентября, настолько нова, что, по его мнению, некоторые сообщения о недостатках преждевременны.
«Jev пройдет тот же процесс созревания, что и все другие модели, включая восприимчивость к кажущимся рудиментарными попыткам манипуляции», — сказал Хенейн. «Эта модель была выпущена только в прошлом месяце, поэтому удивление по поводу наличия проблем похоже на удивление, когда ваш ребенок пускает слюни».
Однако Фрэнк Диксон, главный аналитик Dickson Research, отметил, что те же атрибуты, которые делают Jev столь привлекательной, также подвергают ее более рискованному поведению.
«Jev может выбирать только из вариантов, которые разработчик предлагает в меню», — сказал он. «Это ограничивает пути атаки. Однако, если в меню есть опция «нажать на любой элемент на странице», то рекламное объявление злоумышленника тоже находится в меню. Это решение архитектуры, и его принимает покупатель».
Он отметил: «Jev принимает решения ИИ быстрее и дешевле, что также делает неправильные решения быстрее и дешевле. Скорость — это функция. Это не мера безопасности».
Независимый технологический консультант Стивен Эрик Фишер согласился.
«Ограничение формата решения не обязательно ограничивает его правильность, надежность или последствия», — сказал он, отметив, что «симулированный сценарий оформления заказа [в посте] иллюстрирует, как агент может быть перенаправлен с авторизованной задачи информацией, введенной через менее доверенный компонент его операционной среды. Тот факт, что агенту было явно указано не доверять содержимому страницы, но он все же отреагировал на вредоносное рекламное объявление, особенно важен».
Эта статья изначально была опубликована на InfoWorld.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Evan Schuman
