Многие начинают работу с ИИ с того, что просят машину представить себя экспертом в нужной задаче — метод, который, как обнаружили ученые, может оказаться бесполезным.
Промптинг на основе персоны — использование таких директив, как «Вы — эксперт по машинному обучению» во входном запросе к модели — берет свое начало в 2023 году, когда исследователи начали изучать, как ролевые инструкции влияют на вывод моделей ИИ.
Сейчас в интернете часто можно найти руководства по промптингу, содержащие такие пассажи, как: «Вы — эксперт по full-stack разработке, которому поручено создать полноценное готовое к продакшену full-stack веб-приложение с нуля».
Однако академики, исследовавшие этот подход, сообщают, что он не всегда дает превосходные результаты.
В препринте под названием “Expert Personas Improve LLM Alignment but Damage Accuracy: Bootstrapping Intent-Based Persona Routing with PRISM” исследователи из Университета Южной Калифорнии (USC) обнаружили, что промптинг на основе персоны зависит от конкретной задачи — что, по их мнению, объясняет неоднозначные результаты.
Для задач, зависящих от согласованности (alignment), таких как письмо, ролевые игры и безопасность, персоны действительно улучшают производительность модели. Для задач, зависящих от предварительного обучения, таких как математика и кодирование, использование этой техники приводит к худшим результатам.
Причина, по-видимому, в том, что указание модели на то, что она является экспертом в определенной области, на самом деле не наделяет ее никакими знаниями — в обучающие данные не добавляются никакие факты.
Фактически, указание модели на то, что она является экспертом в определенной области, препятствует ее способности извлекать факты из данных предварительного обучения.
Исследователи использовали бенчмарк Measuring Massive Multitask Language Understanding (MMLU), средство оценки производительности LLM, для тестирования промптинга на основе персоны и обнаружили, что «когда LLM просят выбрать один ответ из нескольких вариантов, экспертная персона стабильно показывает худшие результаты, чем базовая модель, во всех четырех предметных категориях (общая точность: 68,0 процента против 71,6 процента у базовой модели). Возможное объяснение состоит в том, что префиксы персоны активируют режим следования инструкциям модели, который в противном случае был бы посвящен фактическому запоминанию».
Однако руководство на основе персоны помогает направить модель к ответам, которые удовлетворяют судью на основе LLM, оценивающего согласованность. В качестве примера авторы отмечают: «Специализированная персона “Монитор безопасности” повышает процент отказов от атак по всем трем показателям безопасности, при этом наибольший прирост наблюдается в JailbreakBench (+17,7 процентных пункта с 53,2 процента до 70,9 процента)».
Цзычжао Ху, аспирант USC и один из соавторов исследования, сообщил The Register по электронной почте, что, исходя из результатов исследования, просьба к ИИ принять на себя роль эксперта-программиста не поможет в повышении качества или полезности кода.
Однако, ссылаясь на руководство по промптингу, на которое они дали ссылку выше, Ху сказал, что «многие другие аспекты, такие как предпочтения в отношении пользовательского интерфейса, архитектура проекта и предпочтения в отношении инструментов, больше относятся к направлению согласованности, которое выигрывает от подробной персоны».
«В приведенных примерах мы считаем, что общая экспертная персона не является необходимой, например, “Вы — эксперт по full-stack разработке”, в то время как гранулированные персонализированные требования к проекту могут помочь модели генерировать код, соответствующий требованиям пользователя».
Учитывая, что запросы об экспертизе действительно оказывают влияние, исследователи — Ху и его коллеги Мохаммад Ростами и Джесси Томасон — предложили метод, который они назвали PRISM (Persona Routing via Intent-based Self-Modeling), который пытается использовать преимущества экспертных персон без вреда.
«Мы используем механизм LoRA с воротами [адаптация низкого ранга], где базовая модель полностью сохраняется и используется для генераций, зависящих от предварительно обученных знаний», — пояснил он, добавив: «Этот процесс принятия решений изучается воротами».
Адаптер LoRA активируется там, где поведение, основанное на персоне, улучшает вывод, а в противном случае происходит возврат к неизмененной модели.
Исследователи разработали PRISM, чтобы избежать компромиссов других подходов — маршрутизации на основе промптов, которая применяет экспертные персоны во время инференса, и контролируемой тонкой настройки (supervised fine tuning), которая встраивает поведение в веса модели.
На вопрос о том, существует ли способ обобщить эффективные методы промптинга, Ху ответил: «Мы не можем сказать наверняка для общего промптинга, но на основе нашего открытия об экспертной персоне потенциальный момент заключается в следующем: “Когда вы больше заботитесь о согласованности (безопасность, правила, следование структуре и т. д.), будьте конкретны в своих требованиях; если вы больше заботитесь о точности и фактах, ничего не добавляйте, просто отправьте запрос”». ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Thomas Claburn
