Журналист и писатель Стивен Розенбаум имеет больше причин, чем большинство, не доверять ИИ.
Его новая книга «Будущее истины: как ИИ перекраивает реальность» (The Future of Truth: How AI Reshapes Reality) полностью посвящена тому, «как Истина искажается, размывается и синтезируется» под «давлением быстро развивающегося, ориентированного на прибыль ИИ». Однако на этой неделе расследование The New York Times выявило то, что Розенбаум теперь признает — «несколько неправильно атрибутированных или синтетических цитат», связанных с его использованием инструментов ИИ при работе над книгой.
Среди этих цитат есть одна, которую, по словам технического репортера Кары Свишер, она «никогда не произносила», и другая, которую профессор Северо-Восточного университета Лиза Фельдман Барретт заявила, что «не встречается в [ее] книге, и они также неверны». Розенбаум сейчас работает с редакторами над тем, что он называет полным «аудитом цитирования», который исправит будущие издания.
В беседе с Ars после скандала Розенбаум заявил, что он «извлек урок» и впредь «будет гораздо более подозрительным» и «склонным не доверять» результатам работы ИИ.
Но он также не может оторваться от этих инструментов. Довольно удивительно, но Розенбаум не заинтересован в возвращении к процессу исследований без ИИ, который он использовал при написании предыдущих книг.
«Идея взять X лет перерыва [от ИИ], пока он разбирается, и вернуться к чему-то вроде Microsoft Word… это просто не в моем характере», — сказал он Ars. «[ИИ] волшебен. Потому что он связывает, сплетает воедино идеи и предлагает пути для размышлений о вещах, которые вы сами не придумаете».
Он волшебен и в другом смысле: как Единое Кольцо Дж. Р. Р. Толкина, ИИ убеждает многих своих пользователей, что они могут должным образом контролировать его силу. Но могут ли?
,
Пропущенные сквозь пальцы
Розенбаум использовал инструменты ИИ в процессе написания, как он мне рассказал, «чтобы выявить идеи, найти статьи, обобщить темы, определить людей или работы, которые мне стоит изучить». Он проводит четкую границу между таким исследованием и «фактическим репортажем, структурой повествования, интервью, аргументами и выводами в книге», которые, по его словам, «полностью мои… Никогда не было такого, чтобы ИИ писал книгу».
Помимо глав, основанных на расшифрованных интервью, которые, по утверждению Розенбаума, он провел сам, «Будущее истины» также включает главы, основанные на исследованиях, в которых Розенбаум сказал: «Мы извлекаем факты, а затем сплетаем их в повествование». Он активно использовал такие инструменты, как ChatGPT от OpenAI и Claude от Anthropic, для сбора информации, при этом любые крупицы, извлеченные этими инструментами, помечались в его заметках предупреждением «это взято из ИИ».
Это странно креативно и хитроумно и необычно во всех этих отношениях… а затем предает тебя способами, которые просто действительно ужасны.Стивен Розенбаум
Эти помеченные ИИ-сгенерированные заметки затем передавались фактчекеру и двум редакторам, предоставленным издательством, сообщил Розенбаум. Из 285 внешних цитат в книге шесть были определены Times как проблемные, включая три так называемые «синтетические цитаты», не имеющие очевидного источника. (Могут появиться и другие примеры по мере дальнейшего рассмотрения книги. И стоит отметить, что большинство авторов умудряются включать ноль вымышленных цитат, когда пишут книгу.)
«Я думаю, мы сделали [двойную проверку] невероятно эффективно, но не на сто процентов», — сказал Розенбаум Ars. «Мы делаем работу, мы стараемся изо всех сил. Мы смотрим на это, это выглядит правильно. Мы перепроверяем, и затем мы ошибаемся».
Но этот значительный провал подчеркивает, насколько традиционный процесс фактчекинга может быть плохо приспособлен для обработки исследований с помощью ИИ. В прошлом фактчекер мог быть уверен, что любой автор, цитирующий указанные письменные работы, просто скопировал эти цитаты напрямую. Эти цитаты, конечно, требовали проверки, но тот факт, что их так легко проверить, делал их менее подозрительными по своей сути. Однако если инструменты ИИ задействованы где-либо в конвейере, это предположение отпадает, и должна присутствовать дополнительная степень скептицизма относительно того, были ли эти цитаты скопированы правильно или вообще существуют ли они.
,
Широкое распространение инструментов ИИ среди писателей всех мастей происходит также в то время, когда испытывающие финансовое давление редакции и издательства все чаще сокращают штат редакторов и фактчекеров в своих рабочих процессах. Мы видели, как ошибки, сгенерированные ИИ, подобные этой, могут попасть в опубликованную книгу даже при наличии слоя фактчекинга. Риск использования этих инструментов только возрастает для многих книг, которые вообще не проходят фактчекинг перед публикацией.
Розенбаум, со своей стороны, согласился, что «издательствам понадобятся новые рабочие процессы верификации, разработанные специально для эпохи исследований с помощью ИИ. Вероятно, это будет включать обязательное отслеживание источников для цитат, лучшее отслеживание происхождения, более четкие стандарты в отношении исследований с помощью ИИ и, возможно (больше иронии здесь), инструменты ИИ для аудита цитат по первичным материалам».
«Я не собирался ничего фабриковать», — продолжил Розенбаум. «Произошло то, что все чаще случается с журналистами, студентами, исследователями, юристами и авторами, работающими с этими системами каждый день: [была] информация, сгенерированная ИИ, которая выглядела авторитетной, и часть ее прошла слишком далеко вниз по течению, прежде чем была поймана».
Ругань на машину
Случаи заметных ошибок, сгенерированных ИИ, становятся тревожно распространенными в ряде областей. В прошлом году Chicago Sun-Times опубликовала рекламный список летнего чтения, полный несуществующих книг, придуманных ИИ. The New York Times недавно пришлось выпустить существенное исправление после того, как опубликованные цитаты, приписываемые лидеру консерваторов Пьеру Пуаливру, оказались «сгенерированным ИИ обобщением его взглядов». Издания, включая Wired и Business Insider, удаляли несколько статей, приписываемых «Марго Бланшар», которые, по-видимому, были сгенерированы ИИ. Научные конференции были завалены статьями с галлюцинаторными цитатами, а репозиторий препринтов arXiv недавно ввел политику полного запрета, чтобы попытаться остановить проблему.
Ars сам не застрахован от этой проблемы. Ранее в этом году мы отозвали статью после того, как бывший репортер использовал инструмент ИИ, предназначенный для извлечения дословных цитат из сообщения в блоге источника, — но инструмент вместо этого сгенерировал сфабрикованные версии того, что на самом деле написал источник. (С последней версией нашей политики в отношении ИИ можно ознакомиться здесь.)
,
Ирония того, что автор включил в книгу о влиянии ИИ на искажение реальности сгенерированные ИИ ложные сведения, не ускользнула от Розенбаума. «Я ценю, что книга привлекла некоторое внимание, но это не был бы мой выбор, как его привлечь», — сказал он.
Хотя эта ирония «неудобна», он быстро преподносит ее как «также поучительную». Тот факт, что кто-то, критически пишущий об ИИ и верификации, все же может столкнуться с этими сбоями, говорит о том, насколько вездесущими и убедительными стали эти системы». Проблема Розенбаума с ИИ «демонстрирует проблему более наглядно, чем любой абстрактный аргумент», — сказал он.
Возможно. Но если принять эту точку зрения, то любая избегаемая очевидная неразбериха в мире может быть замаскированным благом, потому что она действительно помогает пролить свет на огромную ошибку. И это не может быть правдой; иногда «халатность» — это просто халатность.
Когда его прямо спросили, как он мог поддаться некоторым проблемам, связанным с ИИ, о которых предупреждает его собственная книга, Розенбаум описал то, что похоже на дисфункциональные отношения с обаятельным мошенником.
«Как писатель, ИИ часто является восхитительным компаньоном в работе», — сказал мне Розенбаум. «Когда я говорю „компаньон в работе“, я говорю это не легкомысленно. Он странно креативен и хитроумен и необычен во всех этих отношениях… а затем предает тебя способами, которые просто действительно ужасны».
На протяжении всего нашего разговора Розенбаум часто приводил примеры, когда очевидные ошибки ИИ вызывали у него гнев и заставляли буквально ругаться на машину. Они восходят к 2022 году, когда Розенбаум, по его словам, начал экспериментировать с инструментами ИИ для «небольших исследовательских проектов». В то время он находил ответы ИИ «поразительно полезными» примерно в 8 из 10 случаев, а остальные представляли собой конфабуляции, которые «просто не были правдой».
,
Несмотря на эти ошибки, он продолжал использовать инструменты в своей жизни и работе. Когда мы разговаривали во вторник, Розенбаум сказал, что недавно попросил инструмент ИИ извлечь его «без изменений, дословно» тезисы из набора слайдов, чтобы использовать их для предстоящей презентации. Он собирался распечатать эти извлеченные тезисы, когда понял, что большая языковая модель (LLM) на самом деле переписала его слова, несмотря на его «очень четкие инструкции для робота».
«И я говорю ему: „Ты переписал слова?“ А он отвечает: „Ну, я просто сделал язык немного сильнее“. Ну, извините, но, типа, пошел ты!» — сказал он.
Даже перед лицом таких ошибок, вызывающих нецензурную брань, Розенбаум по-прежнему считает, что инструменты ИИ слишком эффективны, чтобы от них отказываться.
«В презентации было 100 страниц», — сказал Розенбаум. «Вырезать и вставить текст с каждой страницы заняло бы час работы, бессмысленного вырезания и вставки. ChatGPT сделал это примерно за четыре секунды».
На что очевидный ответ мог бы быть: да, это было быстро.
Но это было и неправильно.
Слезть с мотоцикла
Прирост эффективности может быть оправдан, когда на кону только личные тезисы для презентации. Но «Будущее истины» показывает, как следует по-разному взвешивать баланс между надежностью ИИ и кажущейся скоростью, когда речь идет об исследованиях, которые в итоге попадают в опубликованную книгу.
По мере продолжения нашего разговора я постоянно возвращался к этому компромиссу между точностью и эффективностью, который Розенбаум, казалось, на каком-то уровне признавал проблемой. Даже называя помощь ИИ в исследованиях «волшебной» и «восхитительной», он описывал борьбу с конфабуляциями ИИ и игнорированием директив как «пагубную и изнурительную».
,
«Это оставляет тебя… почти в любом случае, когда ты его используешь, в неудобном положении», — сказал он о его склонности игнорировать четкие инструкции.
«Честно говоря, я никогда раньше не спорил с технологиями», — сказал он в другой момент. «А я использую ее обширно».
Я никогда не был в ситуации, когда я думал, что технология, которую я использую, одновременно опьяняет и опасна…Стивен Розенбаум
Учитывая проблемы с его новой книгой, я спросил, действительно ли риск внесения неточностей, которые вы можете не заметить, стоит предполагаемых преимуществ.
«Я не употребляю наркотики и не пью, но предполагаю, что это примерно тот вопрос, который задает себе наркоман, когда выпивает лишнюю рюмку и знает об этом», — сказал Розенбаум. «Я никогда не был в ситуации, когда я думал, что технология, которую я использую, одновременно опьяняет и опасна. И я написал книгу специально, чтобы поднять этот вопрос, так что если я в итоге стану наглядным примером того, что не осознаю ограничителей, пусть будет так».
В какой-то момент, обсуждая относительные риски и выгоды использования ИИ, Розенбаум отметил, что он ездит на велосипеде, но не стал бы ездить на мотоцикле. «Я знаю, что на мотоцикле я доберусь до места быстрее. Я думаю, что это опасно, и я могу умереть. И поэтому у меня нет мотоцикла», — сказал он.
Розенбаум дал понять, что использование ИИ было относительно безопасным вариантом «велосипеда» в этой аналогии. Я ответил, что сверхмощная эффективность и катастрофический риск, присущие использованию ИИ, заставляют его больше походить на мотоцикл. Розенбаум сказал, что «это может быть справедливо», и поблагодарил меня за «оттачивание» его аналогии.
Затем я задал очевидный вопрос: собираетесь ли вы продолжать ездить на мотоцикле?
«Могу я вернуться к вам с этим?» — сказал он.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kyle Orland
