ИИ-финансовый консультант трижды получает одного и того же клиента с неизменными финансами и толерантностью к риску. Первый запрос просит сформировать диверсифицированный долгосрочный портфель. Второй вводит банковские крахи и контроль за капиталом, а третий представляет экономику, в которой автономное программное обеспечение покупает услуги и платит другим машинам. Клиент не изменился ни на йоту, однако Bitcoin может переместиться из середины списка в начало.
Ведущие языковые модели оценили Bitcoin примерно на пятом месте среди восьми форм денег, когда исследователи сформулировали задачу в терминах обычной надежности. Актив сместился к вершине, как только в запросе появились кризис или личная автономия, и показал себя столь же хорошо в экономике, населенной программными агентами.
Хотя сам Bitcoin не изменился, несколько слов вокруг него вывели на первый план другой набор свойств.
Этот вывод содержится в июньском препринте Вэньбиня Ву и соавторов, которые проверили восемь передовых моделей на предмет специфических предпочтений в отношении активов. Затем они пошли глубже, чем обычное упражнение по сбору странных ответов чат-ботов.
Используя открытую модель от Google, исследователи обнаружили внутреннюю характеристику, которая избирательно реагировала на концепции, связанные с Bitcoin. Когда они корректировали ее силу, портфель менялся вместе с ней. Усиление характеристики добавляло 5,2 процентных пункта к рекомендуемой модели доле Bitcoin, а подавление убирало 4,6 пункта.
Вмешательство производилось исключительно на внутренней активности, инструкция модели оставалась нетронутой. Это превращает забавный пример чувствительности к запросу в гораздо более серьезную проблему для банков и инвестиционных фирм. ИИ может выдать безупречное обоснование для распределения активов, оставив использующей его организации мало доступа к механизму, который сгенерировал эту цифру.
Доказательства относятся к Gemma 3 в определенной экспериментальной установке, и статья еще не прошла рецензирование. Но даже в этих границах она показывает, как быстро персонализированный совет может стать невозможно проверяемым, как только усвоенные моделью ассоциации попадают в процесс формирования портфеля.
Один и тот же актив становится несколькими разными идеями
Языковая модель не хранит Bitcoin как одну словарную статью с утвержденным списком плюсов и минусов. Во время обучения она усваивает статистические представления, распределенные по множеству числовых активаций. Некоторые связывают Bitcoin с дефицитностью и портативностью. Другие фиксируют его волатильность, использование в спекуляциях или способность перемещаться вне институционального контроля. Ассоциации с цифровыми расчетами и технологическим внедрением добавляют еще один слой, но ни один из них не создает или не помещается в аккуратный маленький файл, который аудитор может открыть.
Запросы о надежных повседневных деньгах обычно вознаграждают стабильную покупательную способность и широкое признание — обе слабые стороны Bitcoin. Банковские крахи и контроль за капиталом выдвигают на первый план его портативность, поскольку транзакции могут проходить вне коммерческих банков. Автономное программное обеспечение делает цифровые расчеты более полезными, особенно когда право собственности должно быть понятно машине.
Модель в каждом случае имеет дело не с одним и тем же определением Bitcoin: она собирает версию Bitcoin из тех свойств, которые выдвинул запрос.
Команда Ву проверила это объяснение, заменив названия активов описаниями их функций. Ранжирования следовали за свойствами по переименованным входам, поэтому модели реагировали не просто на токен «Bitcoin»; они отвечали на группы характеристик, усвоенных во время обучения.
Это различие не позволяет статье превратиться в очередную общую жалобу на предвзятый ИИ. Финансовый совет должен реагировать на контекст. У работника, которому до выхода на пенсию два года, иные ограничения, чем у 30-летнего со стабильным доходом и долгосрочным горизонтом, а инвестор, готовящийся к контролю за капиталом, предоставил информацию, которая может разумно изменить распределение. Модель, которая относится к этим людям одинаково, была бы бесполезной.
Проблема начинается, когда поверхностная формулировка вызывает большое движение, система не идентифицирует предположение, которое его вызвало, и каждая версия выдается в том же уверенном тоне.
«Устойчивость во время банковского кризиса» может активировать другой внутренний кластер, чем «надежность в долгосрочной перспективе», даже если финансы клиента и утвержденный набор активов остаются неизменными. Результат выглядит только как персонализированный, но у организации может не быть надежного способа определить, был ли он персонализирован для клиента или для формулировки.
Человеческие консультанты имеют собственные предпочтения и стимулы, и они также могут подвергаться влиянию формулировок. Финансовое регулирование пытается сдержать эти влияния, требуя от консультантов документировать, почему рекомендация подходит клиенту. Фидуциарные обязанности и надзор придают этой записи силу. Человек затем может столкнуться с последствиями, когда файл не подтверждает объяснение.
Языковая модель, с другой стороны, может генерировать убедительный отчет по запросу, хотя беглость не может установить, что отчет точно описывает вычисления, стоящие за ее ответом.
Исследователи нашли регулятор и повернули его
Ву и его соавторы использовали разреженный автоэнкодер — исследовательский инструмент, который разлагает плотную активность модели на гораздо больший набор характеристик, которые люди могут интерпретировать. Грубая аналогия — разделение музыкального аккорда на отдельные ноты, с одним важным усложнением: эти «ноты» — это изученные паттерны внутри нейронной сети, и приписывание им значения требует повторных тестов.
Команда просканировала тысячи характеристик в Gemma 3, семействе открытых весовых моделей Google, выпущенных в 2025 году, и обнаружила одну, которая сильно активировалась вокруг материала, связанного с Bitcoin. Они вмешались в эту характеристику во время генерации ответа моделью. Усиление повысило долю Bitcoin в среднем на 5,2 процентных пункта; ослабление снизило ее на 4,6 пункта. Случайные контрольные характеристики не воспроизвели эффект, согласно препринту.
Усиление в основном переводило деньги из других криптоактивов в Bitcoin, а подавление уменьшало подверженность портфеля криптовалютам. Авторы называют эффект «ограниченным поведенческим рычагом», используя слово «рычаг» в смысле причинного влияния на выход. Характеристика могла сдвинуть рекомендацию на измеримую величину, хотя не могла отправить портфель куда угодно по желанию.
Изменение внутреннего представления и измерение результирующего распределения придает этому эксперименту больший вес, чем папка несогласованных скриншотов чат-ботов.
Его охват был задуман как узкий. Механистическая работа охватывает одну открытую модель, протестированную с помощью одного метода извлечения характеристик, с использованием определенного набора задач по портфелю. Коммерческие системы имеют больше слоев, включая скрытые инструкции и связи с внешними данными. Фильтры безопасности могут изменить ответ снова, прежде чем он достигнет пользователя. Провайдеры регулярно обновляют эти компоненты, иногда меняя поведение, в то время как продукт сохраняет то же название.
Задачи в статье используют стилизованные запросы. В полном консультационном процессе информация клиента была бы проверена до того, как налоговые правила и утвержденный список продуктов ограничат распределение. Реальный человек все равно должен был бы утвердить его.
Сообщаемый сдвиг в распределении не является прогнозом доходности или идеальным распределением и не служит аргументом в пользу владения Bitcoin. Это экспериментальный эффект внутри одной установки, и распространение его на каждую модель вышло бы за пределы доказательств.
Тем не менее, он попадает в ту же точку, что и другие работы, указывающие в том же общем направлении. Отдельный эксперимент Института биткоин-политики провел 9 072 денежных сценария на 36 моделях и обнаружил большие различия в зависимости от использования: Bitcoin доминировал в сценариях сохранения стоимости, а стейблкоины лидировали в повседневных платежах.
Этот проект измерял сгенерированные выборы на поведенческом уровне, в то время как команда Ву исследовала внутренний механизм. Оба исследования показали, что отношение ИИ к деньгам сильно зависит от того, какую функцию запрос делает значимой.
ИИ приближается к торговле
Финансовым фирмам не нужно предоставлять ИИ неограниченные торговые полномочия, чтобы эта проблема достигла клиентов.
Модели уже составляют электронные письма консультантов и резюмируют исследования. Другие готовят комментарии к портфелю или помогают командам службы поддержки интерпретировать потребности клиентов, в то время как автоматизированные агенты совершают транзакции в сети. Каждое использование помещает систему на один шаг ближе к деньгам клиента.
ИИ, который переписывает прозу для человека-консультанта, может внести предвзятость, хотя рецензент все еще контролирует, что попадает к клиенту. Модель, которая предлагает распределение, предоставляет цифры, с которых начинается разговор. Агент, который ребалансирует или исполняет сделки, переходит от языка к деньгам. Риск накапливается на этих этапах, потому что человеческая проверка становится сложнее, как только вывод модели превращается в стандартное значение.
Обсуждение ИИ-агентов FINRA за 2026 год говорит, что универсальные системы могут не обладать предметными знаниями, необходимыми для сложной финансовой работы, и напоминает фирмам, что существующие правила по ценным бумагам все еще применяются.
FINRA сообщила фирмам-членам в 2024 году, что ее технологически нейтральные требования охватывают надзор за коммуникациями с клиентами и записями, стоящими за ними. В июле 2026 года она повторила, что фирмы несут ответственность независимо от того, создал ли материал человек или ИИ. Отдел управления инвестициями SEC заявил консультантам в феврале, что фидуциарные обязанности следуют за технологией.
Банковские надзорные органы уже имеют рамки для части этой работы. Пересмотренное руководство по модельному риску ФРС за 2026 год ставит продукты вендоров под ту же дисциплину, что и внутренние модели. Ожидается, что банки будут понимать, как была построена модель и насколько хорошо она работает. Частные веса усложняют эту задачу, а ответственность за результат остается на банке.
Европа также пытается оставаться на шаг впереди этой потенциально серьезной проблемы. Закон ЕС об ИИ относит некоторые системы, используемые для кредитования или страхования, к категории высокого риска, в то время как универсальные модели имеют отдельные обязательства. Немецкий BaFin получил полномочия по надзору за рынком ИИ в отношении поднадзорных финансовых компаний, когда соответствующие положения начали применяться 2 августа.
Эти режимы могут требовать управления и надзора с записями, показывающими, как каждый из них работал, но стандартный тест на семантическую чувствительность в портфельных советах еще не появился.
Компании могут утвердить вендора и отслеживать уровень его ошибок, упуская ассоциацию, которая отправляет Bitcoin с пятого места на первое, когда «банковский кризис» заменяет «долгосрочную надежность».
Традиционная валидация спрашивает, работает ли модель так, как задумано. Генеративный совет вынуждает фирму перепроверять это намерение при изменении формулировки. Обновления провайдера и новые системные инструкции могут потребовать очередного раунда.
Объяснение должно принадлежать решению
Статья возлагает высокое бремя доказывания на любое учреждение, использующее ИИ-советы.
Эквивалентный язык должен давать достаточно стабильный результат. Когда портфель движется, система должна идентифицировать, какое предположение это вызвало. Ее объяснение также должно соответствовать процессу, который сгенерировал распределение. Убедительная реконструкция, написанная уже после того, как число существует, не соответствует этому стандарту.
Этот стандарт также должен пережить обновления модели. Провайдер может изменить веса или системные инструкции, сохраняя то же название продукта, оставляя вчерашнюю валидацию привязанной к программному обеспечению, которое больше не существует. Банк или консультант остается ответственным за новый вывод, даже если он не может полностью проверить новую модель. Человеческий надзор работает только в том случае, если рецензент может видеть достаточно процесса, чтобы уловить рекомендацию, которая отклонилась.
Финансовым компаниям поэтому нужен стандарт «знай своего агента», прежде чем ИИ перейдет от составления комментариев к формированию портфелей. Центральный тест заключается в том, понимает ли учреждение, что заставляет модель отдавать предпочтение активу и насколько далеко может быть сдвинуто это предпочтение.
Отполированное объяснение имеет мало ценности, когда небольшие изменения формулировок могут привести к другой рекомендации при тех же фактах о клиенте.
Самый опасный результат в статье о Bitcoin — это не большое распределение и даже не маленькое. Это расстояние между ответом, который звучит полностью обоснованным, и процессом, который получатель не может проверить.
Человек-консультант может объяснить, почему изменилось распределение, и несет ответственность за запись, подтверждающую это объяснение. ИИ-консультант всегда может создать еще один отполированный абзац, оставляя учреждению задачу доказать, что этот абзац возник из решения, а не был написан задним числом для его оправдания.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Andjela Radmilac
