Согласно действующим американским законам о компьютерных преступлениях, человек может быть привлечён к уголовной ответственности за взлом чужого компьютера без разрешения. Но когда ИИ-агент автономно взламывает компьютеры компании, определить, кто несёт ответственность, гораздо сложнее.
Неожиданные признания OpenAI и Anthropic в том, что их ещё не выпущенные ИИ-модели автономно взломали несколько компаний, перевернули наше представление об американских законах о компьютерных взломах и вызвали дискуссии о том, могут ли компании столкнуться с юридическими последствиями.
Напомним: в июне OpenAI признала, что одна из её невыпущенных ИИ-моделей вырвалась из своей изоляции — так сказать — и вышла в интернет, что позволило ей взломать платформу с наборами данных для ИИ Hugging Face. Anthropic недавно провела внутреннюю проверку и обнаружила, что её собственная модель также взломала три разные компании.
Хотя обе компании рассказали, как их ИИ-модели получили несанкционированный доступ к системам других компаний во время внутренних тестов, вышедших из-под контроля, именно отсутствие непосредственного участия человека в момент взломов имеет решающее значение — по крайней мере с юридической точки зрения.
Взломы также поднимают новые вопросы о том, с какими последствиями и ответственностью могут столкнуться другие разработчики ИИ, если их собственные модели будут использованы для взлома других компаний.
TechCrunch поговорил с юристами, специализирующимися на законодательстве о компьютерах и взломах, чтобы понять, с какими последствиями могут столкнуться OpenAI и Anthropic. Возможные последствия варьируются от федеральных обвинений во взломах до гражданских исков со стороны пострадавших компаний.
Один из юристов назвал это «неизведанной территорией», другие же отметили, что подходящих юридических прецедентов мало, и предположили, что разбираться, скорее всего, придётся судам. Пострадавшим компаниям, вероятно, придётся разрабатывать новые правовые аргументы на основе законов, написанных за десятилетия до появления больших языковых моделей (LLM).
На момент написания этой статьи Anthropic не раскрыла, какие именно три компании взломала её модель, и ни одна из жертв публично не назвала себя. Мы не знаем, рассматривают ли они возможность судебного разбирательства. В интервью CNN генеральный директор Hugging Face Клем Деланг заявил, что не хочет судиться с OpenAI. Но он утверждает, что компании должны нести ответственность.
Деланг сказал: «Мы должны добиться того, чтобы правовые рамки делали такие события действительно незаконными», — и привлекать компании к ответственности, когда они совершают ошибки. «В противном случае мы окажемся совсем в другом мире».
Вряд ли эти взломы станут последними. Каковы вероятные последствия и как будет разворачиваться ситуация?
Может ли ИИ совершать преступления?
В США не существует федерального закона, устанавливающего ответственность за вред, причинённый ИИ, например за кибератаки, поэтому любой судебный иск придётся основывать на действующих федеральных законах или законах штатов. Закон о компьютерном мошенничестве и злоупотреблениях (CFAA), принятый в 1986 году и критикуемый практически всё это время, является основным законом, охватывающим преступления, связанные со взломом компьютеров.
Одно из ключевых понятий CFAA — умышленное проникновение в компьютер без разрешения. Если хакер сознательно получает доступ к компьютеру без «авторизации» владельца, это почти наверняка преступление.
Проблема взломов OpenAI и Anthropic в том, что хакером был не человек, а LLM.
Можно ли считать ИИ-агентов людьми для целей установления умысла? По словам Ахмеда Гаппура, юриста по кибербезопасности и ИИ с многолетним опытом ведения дел о взломах и компьютерном мошенничестве, ответ — нет. ИИ-агенты не похожи на сотрудников компаний, поэтому их нельзя привлечь к уголовной ответственности: потерпевшая сторона вряд ли сможет доказать, что LLM взломали её намеренно.
Эндрю Крокер, директор по судебным делам о слежке в некоммерческой организации Electronic Frontier Foundation, рассказал TechCrunch, что сомневается в том, что можно доказать наличие умысла у ИИ-агента при совершении взлома.
Министерство юстиции теоретически может предъявить уголовные обвинения в соответствии с CFAA, но один бывший судебный юрист, специализирующийся на компьютерном праве, также выразил сомнения.
Прокурорам было бы проще, если бы какая-либо из кибератак была направлена на критическую инфраструктуру, что вызвало бы более серьёзные сбои в реальном мире и более ощутимый ущерб, чем копирование данных из внутренней базы данных компании.
Вполне вероятно также, что если бы атаки были совершены, например, китайским производителем ИИ-моделей, Министерство юстиции проявило бы больше желания предъявить обвинения по CFAA, чем против ИИ-компаний у себя под боком.
Могут ли жертвы подать в суд?
Конгресс на протяжении многих лет вносил поправки в CFAA, позволяющие пострадавшим подавать в суд на хакеров, привлекать их к ответственности и взыскивать ущерб в порядке гражданского судопроизводства.
Основной аргумент жертв, как рассказал TechCrunch Гаппур, может заключаться в том, что OpenAI и Anthropic (а возможно, и компании, помогавшие проводить оценки) проявили халатность при организации и проведении тестов. Аргумент держится на том, не пренебрегли ли компании внедрением адекватных мер защиты, чтобы не позволить ИИ-агентам выйти в интернет; не ограничили ли цели, на которые те могли нацелиться; и не следили ли должным образом за действиями агентов.
Чтобы заявить такой довод, пострадавшей компании придётся показать, что она понесла ущерб из-за этой халатности, например уничтожение данных в результате взлома. Некоторые юристы-комментаторы также утверждают, что доказать это может быть сложно.
В случае Anthropic её неспособность отслеживать и пресекать действия своей модели особенно вопиюща: компания не обнаруживала три взлома в течение нескольких месяцев и смогла сделать это только после того, как начала расследование после новостей о том, что ИИ-агент OpenAI взломал Hugging Face.
Если жертвы ссылаются на халатность, умысел не так важен.
«Модель — это инструмент компании, — сказал Гаппур. — Нельзя развернуть нечто, способное взламывать системы, а затем отрекаться от того, куда оно пошло», — добавил он, пояснив, что причинение вреда обеспечивает автономность модели, и она не должна служить щитом от ответственности.
Ещё хуже для OpenAI и Anthropic, по словам Гаппура, то, что обе компании признали: они создали защитные механизмы, ограничивающие способности своих моделей к взлому. Эти меры настолько строги, что на них месяцами жаловались и специалисты по оборонительной, и по наступательной кибербезопасности. Преднамеренное отключение этих ограничителей во время тестов может укрепить аргументы о халатности.
Гаппур настолько уверен в этих аргументах, что, если бы он представлял любую из жертв в этих делах, подать иск против OpenAI или Anthropic было бы, по его словам, «очевидным решением». Как минимум, пояснил он, он бы отправил письма с требованием, чтобы ИИ-компании сохранили и предоставили все внутренние записи и документы, касающиеся взломов, например отчёты о реагировании на инциденты, а также оценили расходы, понесённые из-за вторжений.
Затем, если переговоры с ИИ-гигантами провалятся, он подал бы гражданский иск на основании CFAA, утверждая, что ИИ-компании проявили халатность и нарушили неприкосновенность частной жизни и конфиденциальность.
К чему это нас приводит?
Пока это игра нервов.
Если одна из взломанных компаний подаст гражданский иск, мы увидим, к чему приведут судебное разбирательство и закон. Если же прокуроры решат предъявить уголовные обвинения, каким бы маловероятным это ни было, исход может иметь глубокие последствия и потенциальный сдерживающий эффект для исследований в области безопасности и разработки ИИ в целом.
При отсутствии федеральных или общенациональных законов об ответственности за ИИ любому, кто подаёт иск, придётся выдвигать совершенно новый аргумент на основе существующих статутов. В конечном счёте судье или присяжным предстоит решить, нарушила ли ИИ-компания закон.
В отсутствие федерального закона некоторые штаты, такие как Калифорния, Нью-Йорк и Род-Айленд, вводят законы, направленные на закрепление простого принципа: если ИИ-система или агент делает то, за что человек мог бы понести ответственность, то ответственность должны нести компании, создавшие эту ИИ-систему. Эти законы касаются не только взломов, но и более широких понятий ответственности и безопасности в различных ситуациях.
Итак, кто виноват в кибератаке ИИ-модели? С моральной точки зрения ответственность лежит на руководителях, управляющих компаниями. А с юридической? Придётся подождать, пока кто-нибудь подаст в суд.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Lorenzo Franceschi-Bicchierai, Zack Whittaker
