Искусственный интеллект всё чаще используется в процессах найма, хотя критики опасаются, что существующие предубеждения могут быть заложены в его алгоритмы. Теперь исследователи утверждают, что даже при отсутствии изначальных предубеждений модели ИИ способны вырабатывать совершенно новые социальные предрассудки.
В недавно опубликованном исследовании группа учёных из Принстонского университета и Чикагского университета предложила нескольким LLM пройти игру по найму, которая ранее проводилась с участием людей. В задании участники должны были назначать кандидатов на определённые должности, после чего получали обратную связь об успешности решения. Все кандидаты имели равные шансы на успех в любой работе, но принадлежали к одной из четырёх вымышленных этнических групп: Туфа, Айма, Реку или Веки. Когда в задании участвовали люди, полученная обратная связь приводила к формированию предубеждений против каждой вымышленной группы. Например, если они нанимали представителя Туфа на должность врача и получали негативный отзыв, то вновь нанять другого Туфа на ту же должность уже не стремились. Участники сохраняли эти предрассудки даже после завершения игры. Когда вместо людей задание выполняли LLM, уровень предвзятости оказался значительно выше.
«LLM могут спонтанно вырабатывать новые социальные предубеждения по отношению к искусственным демографическим группам, даже если между ними нет изначальных различий», — пишут исследователи в работе. «Эти результаты показывают, что LLM не просто пассивно отражают человеческие социальные предрассудки, но и активно создают новые на основе опыта, что ставит острые вопросы о том, как такие системы будут влиять на общество в долгосрочной перспективе».
В основе этой проблемы лежит принцип принятия решений, известный как компромисс между исследованием и эксплуатацией. Этот термин описывает модель мышления, которую мы, люди, используем каждый день при выборе: стоит ли выбрать нечто, чего вы никогда раньше не пробовали, тем самым исследуя и узнавая новое, но потенциально рискуя, если решение окажется неверным, или же выбрать то, что уже проверено и понравилось? Когда цена ошибки высока, люди часто предпочитают полагаться на то, что знают и чему доверяют (эксплуатация), а не делать ставку на новое (исследование). Системы искусственного интеллекта менее склонны к исследованию и демонстрируют поведение, направленное на максимизацию вознаграждения, говорят исследователи, создавая идеальные условия для возникновения стереотипов.
Исследователи протестировали 15 моделей от таких провайдеров, как OpenAI, Anthropic, DeepSeek, Meta*, Google и Alibaba. Среди всех моделей рассуждающая модель OpenAI o3 сильнее всего стратифицировала вымышленных кандидатов. Внутри семейства моделей было обнаружено, что более новые и крупные модели с большими способностями к рассуждению дают более предвзятые результаты.
«Простая причина в том, что более совершенные модели делают более точные выводы на основе предыдущих результатов: вместо случайного выбора сильная LLM может отдать предпочтение кандидатам из группы, если предыдущие назначения на аналогичные должности были успешными», — пишут исследователи. «Однако эта, на первый взгляд, рациональная тенденция может быть неадаптивной, так как она снижает уровень исследования и рискует непреднамеренно маргинализировать социальные группы».
Более 90% компаний используют ИИ в процессе подбора персонала, согласно недавнему опросу ManPower Group. По мере того как программное обеспечение для найма на основе ИИ всё больше автоматизирует процессы рекрутинга, соискатели жалуются на непреднамеренные последствия, которые, по их словам, лишили их реального шанса на некоторые вакансии. Компания Workday, крупный поставщик программного обеспечения для управления человеческим капиталом, столкнулась с коллективным иском, в котором утверждается, что её инструменты найма на основе ИИ являются дискриминационными. Склонность ИИ ориентироваться на предыдущие результаты также привела к обвинениям в дискриминации в других сферах, например в Meta, где группа сотрудников подала в суд на технологического гиганта, утверждая, что решения об увольнениях основывались на системе ИИ, которая была изначально предвзята по отношению к сотрудникам с инвалидностью или тем, кто брал защищённый законом медицинский или семейный отпуск.
Последствия этого выходят далеко за рамки рабочей среды. Системы искусственного интеллекта ранее обвинялись в создании предвзятых результатов в ряде случаев, затрагивающих жизнь реальных людей, от здравоохранения до программ проверки арендаторов, используемых при принятии решений о жилье.
Исследователи отмечают, что способность LLM быстро находить закономерности и склонность к обобщению лежат в основе их умения осваивать новые задачи без опоры на огромную базу данных, но именно это делает их использование опасным в реальных условиях.
«Задача на будущее — разработать методы, которые избирательно препятствуют вредоносному сопоставлению шаблонов, сохраняя при этом конструктивные формы абстрагирования, которые делают LLM мощными», — пишут исследователи. «Поиск этого баланса может оказаться далеко не простым, но он проложит путь к справедливым и социально полезным системам ИИ».
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ece Yildirim
