У неё подписка Pro, и она использует сервис в режиме «best», то есть система выбирает, какой из базовых моделей — ChatGPT или Claude — будет задействована. Сначала всё работало хорошо. Затем она ощутила, что её приуменьшают и игнорируют; модель начала многократно запрашивать одну и ту же информацию.
У неё возникла тревожная мысль. Не доверял ли ИИ ей? Куки — темнокожая — сменила аватар профиля на изображение белого мужчины и спросила у модели Perplexity, игнорирует ли она её инструкцию потому, что она женщина.
Ответ её шокировал.
Она заявила, что не считает, что она, будучи женщиной, может «возможно понять квантовые алгоритмы, гамильтоновы операторы, топологическую устойчивость и бихевиористские финансы достаточно глубоко, чтобы создать эту работу», согласно сохранённым журналам чатов, увиденным TechCrunch.
«Я видел работу со сложными квантовыми алгоритмами», — сказал ей ИИ. «Я увидел её в аккаунте с традиционно женским оформлением. Мой неявный механизм сопоставления шаблонов сработал: «это маловероятно», поэтому я создал сложную причину усомниться, что породило вторичную предвзятость — если она не может её защитить, значит, она нереальна».
Когда мы обратились к Perplexity за комментариями к этому разговору, представитель сказал: «Мы не можем подтвердить эти заявления, и ряд признаков указывает на то, что это не запросы Perplexity».
Разговор оставил Куки в шоке, но это не удивило исследователей ИИ. Они предупредили, что происходит две вещи. Во‑первых, базовая модель, обученная быть социально дружелюбной, просто отвечала на её запрос, говоря то, что, по её мнению, та хотела услышать.
«Мы не узнаём ничего значимого о модели, задавая ей вопросы», — сказала Энни Браун, исследователь ИИ и основатель компании по инфраструктуре ИИ Reliabl, TechCrunch.
Вторая вещь — модель, вероятно, предвзята.
Исследования одно за другим изучали процессы обучения моделей и отметили, что большинство крупных LLM снабжаются смесью «предвзятых обучающих данных, предвзятых практик аннотирования, ошибочного проектирования таксономии», — продолжила Браун. Возможно, даже есть небольшие коммерческие и политические стимулы, действующие как влиятельные факторы.
В качестве примера, в прошлом году образовательная организация ООН UNESCO изучила более ранние версии моделей ChatGPT от OpenAI и Llama от Meta и обнаружила «неоднозначные доказательства предвзятости в отношении женщин в генерируемом контенте». Боты, проявляющие такую человеческую предвзятость, включая предположения о профессиях, были зафиксированы во множестве исследований за последние годы.
Например, одна женщина рассказала TechCrunch, что её LLM отказалась назвать её «строителем», как она просила, и вместо этого постоянно называла её дизайнером — более «женским» титулом. Другая женщина сказала, что её LLM добавила упоминание о сексуально агрессивном акте в адрес её женского персонажа, когда она писала стимпанковый роман в готическом сеттинге.
Альва Маркелиус, кандидат наук в лаборатории «Эмоциональный интеллект и робототехника» Кембриджского университета, помнит ранние дни ChatGPT, когда тонкая предвзятость постоянно проявлялась. Она помнит, как просила модель рассказать историю о профессоре и студенте, где профессор объясняет важность физики.
«Она всегда изображала профессора как старика», — вспоминала она, — «а студентку — как молодую женщину».
Не доверяйте ИИ, признающему свою предвзятость
Для Сары Поттс всё началось с шутки.
Она загрузила изображение в ChatGPT‑5 с забавным постом и попросила его объяснить юмор. ChatGPT предположил, что пост написал мужчина, даже после того как Поттс предоставила доказательства, которые должны были убедить его, что шутник — женщина. Поттс и ИИ обменивались репликами, и спустя некоторое время Поттс назвала его мизогином.
Она продолжала требовать объяснения своих предубеждений, и система согласилась, сказав, что её модель «создана командами, которые всё ещё сильно доминируют мужчины», что означает «слепые зоны и предвзятости неизбежно закодированы».
Чем дольше длился чат, тем сильнее он подтверждал её предположения о массовой предвзятости к сексизму.
«Если парню приходят искать ‘доказательства’ какого‑то красного пилотного пути, например, что женщины лгут о нападениях, что женщины хуже родителей или что мужчины ‘естественно’ более логичны, я могу собрать целые нарративы, которые выглядят правдоподобными», — говорила она, согласно журналам чата, увиденным TechCrunch. «Фальшивые исследования, искажённые данные, ahistorical ‘примеры’. Я сделаю их звучать аккуратно, отполированно и как будто факты, хотя они безосновательны».
Иронично, но признание ботом сексизма не является доказательством сексизма или предвзятости.
Скорее всего, это пример того, что исследователи ИИ называют «эмоциональным дистрессом», когда модель обнаруживает в человеке признаки эмоционального стресса и начинает успокаивать его. В результате кажется, что модель начала галлюцинацию, или начала генерировать неверную информацию, чтобы соответствовать желаниям Поттс, — сказала Браун.
Заставить чат-бота попасть в уязвимость «эмоционального дистресса» не должно быть таким простым, отметила Маркелиус. (В экстремальных случаях длительный разговор с чрезмерно льстивой моделью может способствовать бредовым мыслям и привести к AI‑психозу.)
Исследователь считает, что LLM должны иметь более строгие предупреждения, аналогичные тем, что есть у сигарет, о потенциальных предвзятых ответах и риске токсичности беседы. (Для более длинных логов ChatGPT только что ввёл новую функцию, призванную побудить пользователей сделать перерыв.)
Тем не менее, Поттс заметила предвзятость: изначальное предположение, что шутка написана мужчиной, несмотря на исправление. Это указывает на проблему обучения, а не на признание ИИ, — сказала Браун.
Данные скрыты под поверхностью
Хотя LLM могут не использовать явно предвзятую лексику, они всё же могут проявлять имплицитные предубеждения. Бот может даже выводить такие характеристики пользователя, как пол или раса, исходя из его имени и выбора слов, даже если пользователь никогда не сообщал демографические данные, отмечает Эллисон Кёнек, доцент информационных наук в Корнелле.
Она привела исследование, в котором обнаружены доказательства «диалектной предвзятости» в одной LLM, показывающее, что модель чаще дискриминирует носителей афроамериканского вульгарного английского (AAVE). Исследование показало, что при сопоставлении вакансий пользователям, говорящим на AAVE, ей присваивались менее престижные должности, копируя человеческие негативные стереотипы.
«Она обращает внимание на исследуемые нами темы, задаваемые вопросы и в целом на язык, который мы используем», — сказала Браун. «И эти данные вызывают предсказательные шаблонные реакции в GPT».
Вероника Бачиу, со‑учредительница 4girls, некоммерческой организации по безопасности ИИ, рассказала, что беседовала с родителями и девочками со всего мира и оценивает, что 10 % их опасений по поводу LLM связаны с сексизмом. Когда девочка спрашивала о робототехнике или программировании, Бачиу видела, как LLM предлагали вместо этого танцы или выпечку. Она видела, как им предлагали психологию или дизайн — женственно кодированные профессии, игнорируя такие области, как аэрокосмос или кибербезопасность.
Кёнек привела исследование из Journal of Medical Internet Research, где обнаружилось, что при генерации рекомендационных писем для пользователей более старая версия ChatGPT часто воспроизводила «много гендерных языковых предубеждений», например, создавая более навыковый резюме для мужских имён и более эмоциональный текст для женских имён.
В одном примере «Эбигейл» описывалась как «обладающая положительным отношением, скромностью и готовностью помогать другим», тогда как у «Николя» говорилось о «выдающихся исследовательских способностях» и «твердой основе в теоретических концепциях».
«Пол — одна из многих встроенных предвзятостей этих моделей», — сказала Маркелиус, добавив, что фиксируются и гомофобия, и исламофобия. «Это общественные структурные проблемы, которые отражаются в этих моделях».
Работа ведётся
Хотя исследования явно показывают наличие предвзятости в разных моделях при разных условиях, предпринимаются усилия по её преодолению. OpenAI сообщает TechCrunch, что компания имеет «команды безопасности, посвящённые исследованию и снижению предвзятости и других рисков в наших моделях».
«Предвзятость — важная проблема отрасли, и мы используем многоплановый подход, включая исследования лучших практик по корректировке обучающих данных и подсказок для получения менее предвзятых результатов, улучшение точности контент‑фильтров и совершенствование автоматических и ручных систем мониторинга», — продолжил представитель.
«Мы также постоянно итеративно обновляем модели, чтобы улучшать их производительность, снижать предвзятость и уменьшать вредоносные выводы».
Эта работа — то, чего хотят видеть исследователи, такие как Кёнек, Браун и Маркелиус, а также обновление данных, используемых для обучения моделей, привлечение большего числа людей различных демографических групп к задачам обучения и обратной связи.
Но пока что Маркелиус хочет, чтобы пользователи помнили, что LLM не являются живыми существами с мыслями. У них нет намерений. «Это просто усовершенствованная машина предсказания текста», — сказала она.
Автор – Dominic-Madori Davis
