Когда дело доходит до инструментов на базе больших языковых моделей (LLM), обычно выделяют две широкие категории пользователей. С одной стороны — те, кто рассматривает ИИ как мощный, но порой ошибочный сервис, требующий тщательного человеческого надзора и проверки для выявления логических или фактических неточностей в ответах. С другой стороны — те, кто регулярно делегирует свое критическое мышление тому, что они считают всезнающей машиной.
Недавнее исследование в значительной степени способствует формированию новой психологической модели для второй группы, которая регулярно прибегает к «когнитивной капитуляции» перед, казалось бы, авторитетными ответами ИИ. Это исследование также содержит экспериментальную проверку того, когда и почему люди готовы делегировать свое критическое мышление ИИ, а также как такие факторы, как нехватка времени и внешние стимулы, могут повлиять на это решение.
Просто спроси у машины ответов
В статье «Мышление — быстрое, медленное и искусственное: как ИИ меняет человеческое рассуждение и рост когнитивной капитуляции» исследователи из Пенсильванского университета стремились развить существующие научные работы, описывающие две широкие категории принятия решений: одна формируется «быстрой, интуитивной и аффективной обработкой» (Система 1); другая — «медленным, обдуманным и аналитическим рассуждением» (Система 2). По мнению исследователей, появление систем ИИ создало новую, третью категорию «искусственной когниции», в которой решения обусловлены «внешним, автоматизированным, основанным на данных рассуждением, исходящим от алгоритмических систем, а не от человеческого разума».
В прошлом люди часто использовали инструменты от калькуляторов до GPS-систем для своего рода «когнитивной разгрузки» под конкретную задачу, стратегически делегируя некоторые работы надежным автоматизированным алгоритмам, при этом используя собственное внутреннее рассуждение для надзора и оценки результатов. Однако исследователи утверждают, что системы ИИ породили качественно иную форму «когнитивной капитуляции», при которой пользователи проявляют «минимальное внутреннее вовлечение» и безоговорочно принимают рассуждения ИИ без надзора или проверки. Это «некритическое отречение от самого рассуждения» особенно распространено, когда вывод LLM «предоставляется бегло, уверенно или с минимальным сопротивлением», отмечают они.
,
Чтобы измерить распространенность и эффект такого рода когнитивной капитуляции перед ИИ, исследователи провели ряд тестов, основанных на Тестах на когнитивное отражение (Cognitive Reflection Tests, CRT). Эти тесты разработаны так, чтобы выявить неправильные ответы от участников, которые по умолчанию используют «интуитивные» (Система 1) мыслительные процессы, но при этом их относительно легко решить тем, кто использует более «обдуманные» (Система 2) мыслительные процессы.
Для своих экспериментов исследователи предоставили участникам возможность опционально использовать чат-бот LLM, который был модифицирован для случайной выдачи неверных ответов на вопросы CRT примерно в половине случаев (и верных ответов в другую половину). Исследователи предположили, что пользователи, часто обращавшиеся к чат-боту, позволят этим неверным ответам «вытеснить интуитивные и обдуманные процессы», что ухудшит их общую успеваемость и подчеркнет опасность когнитивной капитуляции.
В одном исследовании экспериментальная группа с доступом к этому модифицированному ИИ обращалась к нему за помощью примерно в 50 процентах представленных задач CRT. Когда ИИ был точен, пользователи ИИ принимали его рассуждения примерно в 93 процентах случаев. Однако, когда ИИ был случайным образом «неисправен», эти пользователи все равно принимали рассуждения ИИ в меньшем (но все еще высоком) 80 процентах случаев, что, по мнению исследователей, демонстрирует, что само присутствие ИИ часто «вытесняло внутреннее рассуждение».
Неудивительно, что экспериментальная группа, использующая ИИ, показала гораздо лучшие результаты, чем контрольная группа «только мозг», когда ИИ предоставлял точные ответы, и гораздо худшие, чем контроль, когда ИИ был неточен. Однако примечательно, что группа, использующая ИИ, на 11,7 процента выше оценила уверенность в своих ответах, даже несмотря на то, что LLM предоставляла неверные ответы в половине случаев.
В другом исследовании добавление стимулов (в виде небольших выплат) и немедленной обратной связи за правильные ответы увеличило вероятность того, что участники успешно отменят неисправный ИИ на 19 процентных пунктов по сравнению с базовым уровнем, показывая, что ощутимые последствия могут побудить пользователей ИИ потратить дополнительное время на проверку ответов. Но введение временного давления в виде 30-секундного таймера снизило эту тенденцию к исправлению неисправного ИИ на 12 процентных пунктов, что навело исследователей на мысль, что «когда времени на принятие решения мало, внутренний монитор, обнаруживающий конфликт и требующий обдумывания, с меньшей вероятностью сработает».
,
«Снижение порога для проверки»
В целом, по результатам 1372 участников и более 9500 индивидуальных испытаний исследователи обнаружили, что испытуемые готовы принимать ошибочные рассуждения ИИ в поразительные 73,2 процента случаев, при этом опровергая их лишь в 19,7 процента случаев. Исследователи заявляют, что это «демонстрирует, что люди легко включают результаты, сгенерированные ИИ, в свои процессы принятия решений, часто с минимальным сопротивлением или скептицизмом». В целом, «беглые, уверенные выводы [рассматриваются] как эпистемологически авторитетные, что снижает порог для проверки и ослабляет метакогнитивные сигналы, которые обычно направляют ответ на обдумывание», — пишут они.
Однако эти эффекты не были одинаковыми для всех испытуемых. Те, кто набрал высокие баллы по отдельным показателям так называемого подвижного интеллекта (fluid IQ), реже полагались на помощь ИИ и чаще отменяли ошибочные выводы неисправного ИИ, когда обращались к нему. Те же, кто в опросе был предрасположен видеть в ИИ авторитет, напротив, с гораздо большей вероятностью попадались на удочку ошибочных ответов, предоставленных ИИ.
Несмотря на результаты, исследователи отмечают, что «когнитивная капитуляция не является по своей сути иррациональной». Хотя полагаться на LLM, которая ошибается в половине случаев (как в этих экспериментах), имеет очевидные недостатки, «статистически превосходящая система» могла бы дать результаты лучше человеческих в таких областях, как «вероятностные сценарии, оценка рисков или обширные данные», предполагают исследователи.
«По мере роста зависимости производительность соответствует качеству ИИ», — пишут исследователи, — «возрастая при точности и падая при ошибках, что иллюстрирует обещания суперинтеллекта и выявляет структурную уязвимость когнитивной капитуляции».
Иными словами, если вы позволяете ИИ рассуждать за вас, то ваши рассуждения будут не лучше, чем у этой системы ИИ. Как всегда, пусть промптер будет осторожен.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kyle Orland
