Когда в 2022 году начался бум генеративного ИИ, Руди Миллер и ее однокурсники юридического факультета внезапно охватила тревога. «Перед выпуском мы обсуждали, каким будет рынок труда для нас, если ИИ будет принят на вооружение», — вспоминает она.
Поэтому, когда пришло время выбирать специализацию, Миллер, ныне младший юрист в юридической фирме Orrick, решила стать судебным представителем — юристом, который представляет клиентов в суде. Она надеялась, что зал суда станет последним человеческим этапом. «Судьи пока не разрешили роботам с ChatGPT выступать в суде», — говорит она.
Эта статья является частью Hype Correction от MIT Technology Review — серии материалов, которые корректируют ожидания относительно того, что такое ИИ, что он делает возможным и куда мы движемся дальше.
У нее были основания для беспокойства. Казалось, что апокалипсис рабочих мест из-за искусственного интеллекта надвигается на юристов. В марте 2023 года исследователи сообщили, что GPT-4 блестяще справился с Единым экзаменом на адвоката. В том же месяце отраслевой отчет предсказал, что 44% юридической работы могут быть автоматизированы. Индустрия юридических технологий пережила бум, поскольку юридические фирмы начали внедрять генеративный ИИ для анализа огромных массивов документов и составления контрактов — работы, которую обычно выполняют младшие юристы. В прошлом месяце юридическая фирма Clifford Chance сократила 10% своего персонала в Лондоне, сославшись на возросшее использование ИИ.
Но несмотря на весь ажиотаж, большие языковые модели (LLM) все еще далеки от того, чтобы мыслить как юристы, не говоря уже о том, чтобы заменить их. Модели продолжают галлюцинировать ссылки на дела, испытывают трудности с навигацией в «серых зонах» права и с рассуждениями по новым вопросам, а также спотыкаются, когда пытаются синтезировать информацию, разбросанную по законам, нормативным актам и судебным делам. И существуют более глубокие институциональные причины полагать, что модели могут столкнуться с трудностями в вытеснении юридических рабочих мест. Хотя ИИ и меняет рутинную работу в профессии, конец эпохи юристов может быть не скоро.
Большой эксперимент
Юридическая отрасль давно характеризуется длинными рабочими днями и изнурительными нагрузками, поэтому обещание сверхчеловеческой эффективности привлекательно. Юридические фирмы экспериментируют с универсальными инструментами, такими как ChatGPT и Microsoft Copilot, а также со специализированными юридическими инструментами, такими как Harvey и CoCounsel от Thomson Reuters, причем некоторые создают собственные внутренние инструменты на базе передовых моделей. Они запускают «академии ИИ» и позволяют младшим юристам начислять сотни часов за эксперименты с ИИ. По данным Американской ассоциации юристов, по состоянию на 2024 год 47,8% юристов в юридических фирмах с 500 или более сотрудниками использовали ИИ.
Но юристы говорят, что LLM еще очень далеки от того, чтобы рассуждать достаточно хорошо, чтобы заменить их. Лукас Хейл, младший юрист в McDermott Will & Schulte, активно использует ИИ для множества рутинных задач. Он использует Relativity для анализа длинных документов и Microsoft Copilot для составления юридических ссылок. Но когда он обращается к ChatGPT со сложным юридическим вопросом, он обнаруживает, что чат-бот выдает галлюцинации, отклоняется от темы или просто не может дать ответ.
«В случае, когда у нас есть очень узкий вопрос или вопрос, который впервые ставится перед судом», — говорит он, имея в виду новый юридический вопрос, который суд никогда ранее не решал, — «это тот тип мышления, который инструмент не может выполнить».
Большая часть работы Лукаса связана с творческим применением закона к новым фактическим обстоятельствам. «На данный момент я не думаю, что значительная часть работы, которую выполняют судебные представители, по крайней мере, та, которую выполняю я, может быть передана стороннему ИИ-инструменту», — говорит он.
Эллисон Дуглис, старший юрист в Jenner & Block, использует LLM для начала своих юридических исследований. Но инструменты продвигают ее лишь до определенного момента. «Когда дело доходит до фактического проработки и развития аргументации в качестве судебного представителя, я не думаю, что они на это способны», — говорит она. Она наблюдала, как модели галлюцинировали ссылки на дела и путались в неоднозначных областях права.
«Сейчас я бы предпочла работать с младшим юристом, чем с ИИ-инструментом», — говорит она. «Если они не станут чрезвычайно хороши очень быстро, я не могу представить, что это изменится в ближайшем будущем».
За пределами адвокатуры
Юридическая отрасль казалась созревшей для захвата ИИ с момента триумфа ChatGPT на экзамене на адвоката. Но сдача стандартизированного теста — это не то же самое, что практика права. Экзамен проверяет, могут ли люди запоминать юридические правила и применять их к гипотетическим ситуациям, а не то, могут ли они проявлять стратегическое суждение в сложных реалиях или создавать аргументы на неизведанной юридической территории. А модели могут быть обучены для успешной сдачи тестов без реального улучшения своих рассуждений.
Но новые тесты направлены на лучшую оценку способности моделей выполнять юридическую работу в реальном мире. Professional Reasoning Benchmark, опубликованный ScaleAI в ноябре, оценил ведущие LLM по юридическим и финансовым задачам, разработанным профессионалами в этой области. Исследование показало, что у моделей есть критические пробелы в их надежности для профессионального внедрения: лучшая модель набрала всего 37% по самым сложным юридическим проблемам, что означает, что она соответствовала лишь чуть более чем трети возможных баллов по критериям оценки. Модели часто допускали неточные юридические суждения, а если и приходили к правильным выводам, то делали это посредством неполных или непрозрачных процессов рассуждения.
«Инструменты на самом деле не предназначены для того, чтобы заменить вашего адвоката», — говорит Афра Фейза Акюрек, ведущий автор статьи. «Несмотря на то, что многие люди думают, что LLM хорошо разбираются в законе, это все еще отстает».
Статья основана на других тестах, измеряющих производительность моделей в экономически ценной работе. AI Productivity Index, опубликованный фирмой данных Mercor в сентябре и обновленный в декабре, показал, что модели имеют «существенные ограничения» в выполнении юридической работы. Лучшая модель набрала 77,9% по юридическим задачам, что означает, что она удовлетворяла примерно четырем из пяти критериев оценки. Модель с таким показателем может генерировать существенную экономическую ценность в некоторых отраслях, но в областях, где ошибки дорого обходятся, она может быть совершенно бесполезной, отмечалось в ранней версии исследования.
Профессиональные тесты — это большой шаг вперед в оценке реальных возможностей LLM, но они все еще могут не отражать того, что на самом деле делают юристы. «Эти вопросы, хотя и более сложные, чем в прошлых тестах, все же не полностью отражают субъективные, чрезвычайно сложные вопросы, с которыми юристы сталкиваются в реальной жизни», — говорит Джон Чой, профессор права в юридической школе Вашингтонского университета, который в 2023 году стал соавтором исследования по юридическим тестам.
В отличие от математики или программирования, в которых LLM добились значительного прогресса, юридическое рассуждение может быть сложным для изучения моделями. Закон имеет дело с запутанными реальными проблемами, полными неоднозначности и субъективности, которые часто не имеют единственно правильного ответа, говорит Чой. Что еще хуже, большая часть юридической работы не документируется таким образом, чтобы ее можно было использовать для обучения моделей, говорит он. Когда это происходит, документы могут занимать сотни страниц и быть разбросаны по законам, нормативным актам и судебным делам, существующим в сложной иерархии.
Но более фундаментальным ограничением может быть то, что LLM просто не обучены мыслить как юристы. «Модели рассуждений по-прежнему не полностью рассуждают о проблемах так, как мы, люди», — говорит Джулиан Ньярко, профессор права в Стэнфордской юридической школе. Моделям может не хватать ментальной модели мира — способности моделировать сценарий и прогнозировать, что произойдет, — и эта способность может лежать в основе сложного юридического рассуждения, говорит он. Вполне возможно, что текущая парадигма LLM, обученных на предсказании следующего слова, заводит нас только до определенного предела.
Рабочие места остаются
Несмотря на ранние признаки того, что ИИ начинает влиять на работников начального уровня, статистические данные о занятости пока не показывают, что юристы вытесняются. По данным Национальной ассоциации по трудоустройству юристов, 93,4% выпускников юридических факультетов в 2024 году были трудоустроены в течение 10 месяцев после окончания учебы — это самый высокий показатель за всю историю. Число выпускников, работающих в юридических фирмах, выросло на 13% с 2023 по 2024 год.
На данный момент юридические фирмы медленно сокращают свой штат. «Мы не сокращаем численность персонала на данном этапе», — сказала Эми Росс, руководитель отдела по работе с юристами в юридической фирме Ropes & Gray.
Даже заглядывая в будущее, последствия могут быть постепенными. «Я ожидаю некоторого влияния на рынок труда в юридической профессии, но не значительного», — говорит Мерт Демирер, экономист из MIT. «ИИ будет очень полезен с точки зрения поиска и обобщения информации», — говорит он, но для сложных юридических задач «низкая толерантность к риску в юриспруденции, плюс текущие возможности ИИ, сделают этот случай менее автоматизируемым на данный момент». Возможности могут развиваться со временем, но это большая неизвестность.
Дело не только в том, что сами модели не готовы заменить младших юристов. Институциональные барьеры также могут влиять на то, как развертывается ИИ. Более высокая производительность сокращает оплачиваемые часы, бросая вызов доминирующей бизнес-модели юридических фирм. Ответственность имеет огромное значение для юристов, и клиенты по-прежнему могут хотеть, чтобы человек нес ответственность. Нормативные акты также могут ограничивать то, как юристы используют технологию.
Тем не менее, поскольку ИИ берет на себя часть работы младших юристов, юридическим фирмам, возможно, придется переосмыслить свои системы обучения. «Когда работа младших специалистов иссякает, приходится иметь более формальный способ обучения, чем надеяться, что ученичество сработает», — говорит Итан Моллик, профессор менеджмента в Уортонской школе Пенсильванского университета.
Зак Кугер, младший юрист в McDermott Will & Schulte, использует ChatGPT для анализа стопок контрактов, которые раньше он просматривал вручную. Он не может представить себе возвращение к выполнению этой работы самостоятельно, но задается вопросом, что он упускает.
«Я беспокоюсь, что не получаю такого же опыта, который получали старшие юристы», — говорит он, имея в виду повторяющееся обучение, которое давно определяло ранний опыт юристов. «С другой стороны, очень приятно иметь полуэксперта, у которого можно просто спросить, который не является партнером, который также очень занят».
Даже несмотря на то, что апокалипсис рабочих мест из-за ИИ выглядит далеким, неопределенность остается с ним. В последнее время Кугер поздно ложится спать, размышляя, не может ли он оказаться последним поколением младших юристов в крупных юридических фирмах: «Я могу быть последним рейсом».
Автор – technologyreview.com
