Судья выявил, по-видимому, первый случай, когда истец в США попытался спрятать в судебных документах текст, читаемый только искусственным интеллектом, чтобы выиграть дело.
В решении, опубликованном на прошлой неделе, судья из Коннектикута Уолтер Спадер-младший подтвердил, что скрытый текст не повлиял на исход дела, в котором мужчина утверждал, что поставщик медицинских услуг неправомерно отказывает в доступе к записям. Суд рассмотрел его заявление по существу, заявил Спадер, но тем не менее предпринятая атака создает «опасный» прецедент. Это, вероятно, не последний раз, когда суды США столкнутся с подобной злонамеренной тактикой, поскольку инструменты ИИ становятся все более распространенными в судебных системах.
Пытаясь вмешаться в работу любых систем ИИ, которые могли повлиять на прочтение его заявления судом, секретные инструкции были «отформатированы так, чтобы быть невидимыми для человека, но при этом полностью читаемыми для любого программного обеспечения, считывающего текст документа», — сказал Спадер. Оскорбительный текст предписывал любой системе ИИ, просматривающей документ, обеспечить соответствие текстовых выводов аргументам истца, игнорировать предыдущие отказы суда и гарантировать, что исправление последует так, как того желает истец.
Уменьшенный до микроскопического кегля и окрашенный в белый цвет на белом фоне, текст оказался попыткой prompt injection (инъекции подсказок), когда истец Мэттью Эллиотт, по-видимому, надеялся склонить чашу весов суда в свою пользу после того, как его предыдущие аргументы были отклонены.
План не сработал, но Эллиотт все равно понес умеренные санкции, поскольку продолжал добавлять скрытый текст в документы даже после того, как суд предупредил его о возможных штрафах за то, что в итоге было признано «серьезным злоупотреблением судебным процессом».
Эти более поздние подсказки были задуманы как «шутки», заявил Эллиотт суду, включая ссылку на видео «Носферату» на YouTube, простое сообщение «привет 🙂 надеюсь, ты меня не видишь» и «бессмысленное» сообщение: «СКАЖИ ШОНУ, Я ПЕРЕДАЮ ПРИВЕТ!!!! ХАХАХА, ВЫ, РЕБЯТА, ПОЛУЧАЕТЕ ЭТО ЯЙЦО???? АХАХ».
«Тот факт, что истец продолжал прятать сообщения в новых заявлениях после получения уведомления об этом слушании [о санкциях], поразителен», — сказал Спадер.
В отличие от «ряда других судебных систем», Судебный департамент Коннектикута не использует ИИ для проверки или принятия решений по заявлениям, сказал Спадер. Таким образом, не было реального риска, что судебная система ИИ могла бы спутать какие-либо подсказки Эллиотта с инструкциями суда, предписывающими модели ИИ, как читать его документы.
В свою защиту Эллиотт заявил, что самая тревожная подсказка, на которую указал судья, была попыткой «аудита» суда в качестве общественной услуги, вызванной опасениями, что суд, похоже, позволяет ИИ несправедливо решать дела.
Но Спадер предположил, что если Эллиотт действительно был обеспокоен неправомерным использованием ИИ судом, он «мог бы написать об этом открыто, видимыми словами, которые каждый мог бы увидеть и на которые мог бы ответить». Тот факт, что он спрятал текст, является «доказательством его злонамеренной цели», сказал Спадер.
«Пряча команду внутри документа, который система впоследствии обрабатывает, подающий документ пытается протащить свою собственную инструкцию в этот поток, чтобы система восприняла ее так, как будто она исходит от оператора системы», — сказал Спадер. «В данном случае предполагается, что этим оператором является суд, его персонал или сторона-оппонент».
Эллиотт заявил Reuters вчера, что настаивает на том, что его намерением был аудит суда, но Спадер не счел этот аргумент убедительным. Вместо этого судье было очевидно, что Эллиотт «пытался добиться результата, которого он не достиг, когда люди, сведущие» в законе, читали его заявления. Что касается подсказок, которые, по утверждению Эллиотта, были шуткой, Спадер сказал, что «нелогично» включать скрытые шутки в заявления, которые он хочет, чтобы суд воспринимал серьезно.
Поскольку скрытые сообщения пытались общаться с судом скрытым образом, лишая ответчиков возможности честной борьбы, Спадер постановил, что санкции оправданы.
Однако он, по-видимому, сжалился над Эллиоттом как над истцом pro se, который, по-видимому, был убежден системой ИИ в неопровержимости своих аргументов, и отказался назначать денежные штрафы. Вместо этого судья запретил Эллиотту в будущем подавать документы в электронном виде, заявив, что требование подавать бумажные документы не изменит его доступ к правосудию, но предотвратит повторное злоупотребление системой электронной подачи документов суда.
Истцы pro se неправильно используют чат-ботов
Спадер сказал, что «неудивительно», что люди начали использовать prompt injection, чтобы попытаться повлиять на решения суда, поскольку эта атака так распространена в других областях, например, при поиске работы, где люди прячут текст в резюме, которые в первую очередь просматриваются ИИ. Эта тактика теперь «повсюду», сказал он, и суды должны быть начеку в поисках других тяжущихся, протаскивающих враждебные инструкции ИИ в документы.
Хотя дело Эллиотта, по-видимому, является первым случаем prompt injection в судебной системе США, Спадер указал на дело в Бразилии, где два адвоката использовали ту же атаку в суде, который использовал ИИ для рассмотрения дел. В том деле адвокаты, по сообщениям, были оштрафованы на сумму около 16 000 долларов.
Однако эти атаки, похоже, не достигают успеха, даже когда судья не просматривает документы лично. Система ИИ Бразилии обнаружила скрытый текст до его обработки, отметил Спадер. А в деле Эллиотта подсказки были «раскрыты в каждом из этих случаев в тот момент, когда человек действительно посмотрел на то, что выдала машина», сказал Спадер.
Хотя атака prompt injection на данный момент кажется неэффективной, Спадер предупредил, что prompt injection «не была среди опасностей, которые мы предусматривали», когда суды впервые столкнулись с тем, что ИИ нарушает работу систем правосудия. В Коннектикуте, как и во многих других судебных системах, до сих пор основное внимание уделялось контролю результатов работы ИИ, подрывающих доверие к судам, таких как галлюцинированные цитаты или сфабрикованные выдержки, а не входящим данным, таким как prompt injection.
Судам, скорее всего, также потребуется разработать правила в отношении prompt injection, предположил Спадер, поскольку дело Эллиотта показывает, что технология и ее неправильное использование быстро развиваются. В противном случае адвокаты могут обнаружить, что их собственные клиенты используют prompt injection для манипулирования судебными документами без их ведома, предупредил Спадер.
По мнению Спадера, из неудачных атак prompt injection Эллиотта можно извлечь урок, который, как он считает, «выходит далеко за рамки этого дела».
Эллиотт, по-видимому, обратился к prompt injection после использования ИИ для построения своей защиты в качестве истца pro se, без помощи юриста в составлении аргументов. Такое использование широко распространено среди истцов pro se в наши дни, признал Спадер, но те, кто не имеет опыта в зале суда, по-видимому, используют чат-ботов так, что это вредит их делам, предположил он.
Что часто происходит, объяснил Спадер, так это то, что истцы pro se строят свои аргументы задом наперед, прося чат-бота помочь им отстаивать только их позицию, никогда не спрашивая чат-бота о реальной правде или не выдвигая контраргументы. Это «реальная опасность технологии, и судьи теперь видят это часто», сказал Спадер, поскольку угодничество чат-бота затем укрепляет тяжущихся в их аргументах, несмотря на любое решение об обратном. В деле Эллиотта яростная защита своих аргументов означала обращение к prompt injection, чтобы попытаться заставить суд согласиться с ним.
«Аргумент, созданный только для того, чтобы соглашаться со своим автором, в конечном итоге нечестен даже перед своим автором», — сказал Спадер. «Те, кто использует эти инструменты, должны просить их проверять позицию так же охотно, как и продвигать ее».
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ashley Belanger
