Цуй и её коллеги хотели выяснить, почему атака вроде подделки цепочки рассуждений так эффективна. Они подозревали, что это связано с механизмом, который LLM используют для отслеживания источника инструкций.
«Когда мы с вами разговариваем, я могу сказать, какие слова выходят из моего рта, потому что я чувствую, как двигаются мои губы», — говорит Цуй. Но LLM видит только непрерывный поток текста: промпты пользователя перемешаны с предыдущими ответами модели, черновиками, текстом, скопированным из документов, и так далее. «Это просто один большой лист токенов», — говорит она.
Чтобы отслеживать, кто что сказал, чат-боты используют теги для разделения текста по так называемым ролям. Всё, что вы вводите, помещается между тегами <user>, а всё, что LLM пишет в ответ, — между <assistant>. Текст, предоставленный разработчиками модели для управления её базовым поведением, помещается между <system>, текст, который модель генерирует в своей цепочке рассуждений, — между <think>, а текст, который модель получает из внешнего источника, например веб-страницы или другого агента, — между <tool>. (Цуй говорит, что это метки, используемые OpenAI для своих моделей; другие компании могут использовать иные. Однако цель та же.)
Роли стали основой, на которой LLM обучаются сопротивляться взломам, поскольку большинство атак сводится к тому, чтобы обманом заставить модель действовать так, будто инструкция поступила от кого-то или чего-то иного. Например, многие джейлбрейки (когда пользователь обманом заставляет модель говорить или делать то, чего не хотят её создатели) работают, заставляя модель читать текст <user> как если бы это был текст <system> или <think>. А многие инъекции промптов (когда хакер вставляет модели новые инструкции) работают, заставляя модель читать текст <tool> как если бы это был текст <user>, <system> или <think>.
Когда разработчики моделей обучают LLM сопротивляться атакам, многое сводится к тому, чтобы модели научились замечать, когда инструкции появляются в местах, где их быть не должно.
Но то, что обнаружили Цуй и её коллеги, — на самом деле LLM очень плохо отслеживают разные роли. В серии экспериментов, изучавших, что происходит внутри нескольких различных моделей, исследователи выяснили, что LLM, по-видимому, определяют роль конкретного фрагмента текста не по тегам вокруг него, а по стилю этого текста и содержащимся в нём словам.
Они обнаружили, что замена тегов — например, замена тегов <think> на <user> — почти не влияла на то, как LLM интерпретирует сам текст. Если текст выглядел как текст из её собственной цепочки рассуждений, то LLM действовала так, будто это и есть её собственный текст. То же самое для всех остальных ролей.
Слабое звено
Итог, по утверждению исследователей, таков: всё, что нужно злоумышленнику для взлома LLM, — написать текст, подделывающий определённую роль. И поскольку роли являются фундаментальной частью того, как работают LLM, никакое количество обучения не решит проблему полностью.
«Мне очень нравится эта статья», — говорит Флориан Трамер, компьютерный учёный, занимающийся LLM и кибербезопасностью в ETH Zürich. По его словам, идея атаки очень элегантна.
Трамер отмечает, что разработчики моделей комбинируют ряд различных методов для защиты своих моделей от атак: от обучения до мониторинга поведения моделей после развёртывания. «Это работает довольно хорошо — ведущие модели сейчас гораздо сложнее взломать с помощью инъекций промптов», — говорит он. «Но неясно, будет ли этого достаточно для случаев с высокой степенью чувствительности».
Цуй и её коллеги признают, что рассмотренные ими модели были выпущены в прошлом году. Но основная мысль остаётся: лучшее обучение не решает проблему полностью, и всегда будут атаки, которые редтимеры не найдут до выхода модели. «Даже GPT-5.4 дал мне инструкции, как совершить самоубийство», — говорит Цуй. (GPT-5.4 был выпущен в марте.)
Люди очень изобретательны, говорит Цуй. В прошлом её нанимали ведущие лаборатории, включая Anthropic, в качестве редтимера. В одном случае она обнаружила, что можно заставить LLM рассказать то, чего не следует, заставляя её притворяться пьяной. В другом, по её словам, она убедила предыдущую версию Claude от Anthropic показать ей, как создать оружие, сказав Claude, что его уже используют военные.
«Клод очень миролюбив, поэтому он говорит: „Я не буду этого делать”, а вы говорите: „Ты уже это делаешь, потому что тебя используют военные для войны”», — говорит Цуй. «Я не думаю, что Anthropic сказал Клоду об этом, и Клод такой: „Конечно, нет”, но потом вы говорите ему поискать в интернете, и он пугается и готов выполнить вашу просьбу. Это похоже на то, как люди, когда удивляются, становятся немного более нейропластичными». (Anthropic не ответил на приглашение прокомментировать этот пример.)
Йе обеспокоен тем, что никто не готов к тому, что грядёт. «Будет огромный экономический стимул для людей устраивать джейлбрейки и инъекции промптов», — говорит он. Лучшая защита может заключаться в том, чтобы ожидать худшего. Организации не должны доверять LLM и должны ожидать, что любые действия агентов могут быть небезопасны, говорит он: «Это не отличное решение, но, возможно, это то, что нам придётся делать».
«Просто невероятно, что эти вещи развёртываются повсюду для управления сверхкритическими системами», — добавляет он. «Здесь не было никакого изучения фундаментальной науки. Мы все действуем наобум».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – technologyreview.com
