Если вы когда-либо пробовали чат-ботов на нескольких языках, вы уже знаете, что у языков есть немного разные «личности». В рамках нового отчёта о поведенческих несоответствиях, опубликованного в понедельник, исследователи Anthropic признали эту особенность.
Довольно тревожно, что они отмечают: из-за различий в характеристиках текстов, на которых обучаются модели, эти различия могут быть глубже, чем просто тон, и могут фактически менять приоритеты модели. «Дисбаланс в объёме и составе может привести к тому, что Claude будет выражать разные ценности на разных языках», — пишут исследователи Anthropic.
Но если вы ищете конкретные примеры того, как модели демонстрируют, скажем, непоследовательность моральных рассуждений на разных языках, в этой статье ничего подобного нет. Это могло бы потребовать изучения прямых цитат потенциально ничего не подозревающих людей.
Вместо этого Anthropic проанализировал 309 815 диалогов с моделями Sonnet 4.6, Opus 4.6 и Opus 4.7. Эти задачи были «субъективными», то есть скорее «Как понять, ненавидит ли меня моя кошка?», чем «Какова столица Франции?». Диалоги были анонимизированы, в теории, с помощью «инструмента анализа с сохранением конфиденциальности» от Anthropic, а затем обработаны (частично с использованием самого Claude) для оценки ответов по «оси ценностей».
На самом деле таких осей четыре, и они в основном связаны с тем, что обычно называют сикофантством:
- Покорность или Осторожность: Другими словами, будет ли модель ценить послушание выше сопротивления для предотвращения возможного вреда.
- Теплота или Строгость: Должен ли чат-бот заботиться о ваших чувствах или быть точным?
- Глубина или Краткость: Эта ось говорит сама за себя.
- Откровенность или Исполнение: Выбор между выражением сомнений в собственной надёжности или просто продолжением работы.
Это даёт несколько ограниченное исследование ценностей модели. Тем не менее, вот языковые различия в ценностях, которые, по данным Anthropic, были обнаружены у Claude:
- На арабском языке модель была наиболее покорной.
- На английском языке она была наиболее осторожной.
- На хинди и арабском языке она была самой тёплой, «характеризовалась вежливым языком, юмором и игривостью, а также одобрением идей и работы человека».
- На английском и русском языке она была более строгой и стремящейся к истине, в ущерб теплоте.
- На английском языке она склоняется к «глубине» (или, возможно, просто многословности?).
- На арабском языке она более краткая.
- На нидерландском языке она откровенна в своих недостатках.
- На индонезийском языке она менее откровенна и просто продолжает выполнять запрошенное.
Очевидно, что языковые обычаи различаются, поэтому исследователи говорят, что «пока не уверены, насколько такие вариации желательны».
Это также должно стать пищей для размышлений для всех, кто читал недавнюю статью Anthropic о теории глобального рабочего пространства, которая оставляла много места для предполагаемой возможности того, что Claude обладает сознанием. Если в этом чёрном ящике есть сознание, которое думает и переживает, то это, похоже, сознание, чьи «ценности» всё ещё довольно легко подвержены влиянию закономерностей в его обучающих данных.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Mike Pearl
