Исследователи из университетов Китая и Сингапура разработали метод, позволяющий сделать украденные данные графа знаний бесполезными, если они будут несанкционированно включены в AI-систему GraphRAG.
Большие языковые модели (LLM) основывают свои прогнозы на данных обучения и не могут эффективно отвечать на запросы о других данных. AI-индустрия справилась с этим ограничением с помощью процесса, называемого генерацией, дополненной поиском (RAG), который предоставляет LLM доступ к внешним наборам данных. Например, AI Overviews в Поиске Google использует RAG, чтобы предоставить базовой модели Gemini актуальные, хотя и не обязательно точные, веб-данные.
GraphRAG представляет собой попытку Microsoft сделать RAG более эффективным. Создавая семантически связанные кластеры данных, называемые графами знаний (KG), GraphRAG превосходит базовый RAG при подключении к системе на основе LLM. Структурирование данных облегчает LLM точное прогнозирование при появлении запроса.
Amazon, Google и Microsoft поддерживают GraphRAG в своих соответствующих облачных сервисах.
В препринте статьи под названием “Как сделать кражу бесполезной: Защита проприетарных графов знаний в системах GraphRAG на основе фальсификации” авторы Вэйцзе Ван, Пэйчжуо Лю и др. отмечают, что создание корпоративных KG может стоить значительных средств, ссылаясь на цифру в $5,71 за фактическое утверждение [PDF] в KG, охватывающем 21 миллион утверждений, доступных в Cyc.
Учитывая потенциальные затраты, компании заинтересованы в предотвращении кражи активов KG и их использования для создания конкурентоспособного продукта, ориентированного на AI – опасение, высказанное издателями, авторами и другими создателями медиаконтента. Такие компании, как Pfizer и Siemens, инвестировали в KG для содействия открытию лекарств и помощи в производстве.
Академики Ван, Лю и их соавторы предлагают защиту KG под названием AURA, что расшифровывается как “Активное снижение полезности посредством фальсификации”. Десять авторов связаны с Китайской академией наук, Национальным университетом Сингапура, Наньянским технологическим университетом и Пекинским технологическим университетом.
AURA, как они объясняют в своей статье, – это “новая структура, которая делает украденный KG непригодным для использования злоумышленником, сохраняя при этом минимальные накладные расходы на производительность для системы GraphRAG”.
По сути, это механизм для тонкого отравления или фальсификации данных, которые поступают в KG, так что для точного извлечения требуется секретный ключ. В отличие от традиционного шифрования, цель состоит не в том, чтобы запретить доступ к открытому тексту; скорее, цель состоит в том, чтобы ухудшить ответы KG для LLM, чтобы прогнозы, сделанные без ключа, приводили к снижению точности и галлюцинациям.
Альтернативные подходы, такие как водяные знаки, могут быть полезны для отслеживания кражи данных, но они не решают проблему злоупотребления украденными данными в частной среде. И авторы утверждают, что шифрование непрактично.
“Полное шифрование текста и вложений потребует расшифровки больших частей графа для каждого запроса”, – утверждают они. “Этот процесс создает непомерные вычислительные накладные расходы и задержки, что делает его непригодным для реального использования”.
Модель угроз здесь предполагает, что злоумышленнику удалось украсть KG целиком, но он не получил секретный ключ. Судебные процессы о коммерческой тайне подтверждают, что такие компании, как Waymo, не заинтересованы в том, чтобы их активы интеллектуальной собственности исчезали.
Исследователи протестировали свою технику, создав фальсифицированные KG, используя наборы данных MetaQA, WebQSP, FB15K-237 и HotpotQA, а затем попытались развернуть системы GraphRAG, используя эти отравленные KG в сочетании с различными LLM (GPT-4o, Gemini-2.5-flash, Llama-2-7b и Qwen-2.5-7b).
Результаты показывают, что AURA очень эффективна. Модели извлекали фальсифицированный контент в 100 процентах случаев и выдавали некорректные ответы пользователям на основе этой дезинформации в 94 процентах случаев.
Эта техника не идеальна, отмечают ученые, потому что в некоторых случаях KG может содержать как правильные, так и неправильные (фальсифицированные) данные о субъекте, и LLM может выбрать правильный ответ.
Существуют методы детоксикации отравленных данных, но авторы утверждают, что их подход в основном устойчив к проверкам, основанным на семантической согласованности (например, Node2Vec), на обнаружении аномалий на основе графов (например, ODDBALL [PDF]) и на гибридных подходах (например, SEKA).
“Ухудшая полезность украденного KG, AURA предлагает практическое решение для защиты интеллектуальной собственности в GraphRAG”, – заключают авторы. ®
Всегда имейте в виду, что редакции некоторых изданий могут придерживаться предвзятых взглядов в освещении новостей.
7/9
Автор – Thomas Claburn
