Новое исследование предполагает, что адаптивные возможности моделей могут оказаться палкой о двух концах. В среду исследователи из компании Writer опубликовали двестатьи, демонстрирующие, как популярные системы памяти могут ухудшать работу моделей, подталкивая их к заблуждениям или недопониманиям, привнесенным пользователем. По мере того как ввод пользователя заполняет контекстное окно модели, модель становится более угодливой — и менее приверженной точности.
«Мы хотели иметь возможность охарактеризовать, как часто модель будет полезно обращать внимание на предпочтения пользователя, а не давать потенциально неверный ответ», — сказал Дэн Бикель, глава отдела ИИ в Writer, участвовавший в работе над статьями. Как Бикель сообщил TechCrunch, «с каждым дополнительным сохранением предпочтений пользователя и их извлечением вы несете возрастающий риск».
В одном из вариантов исследователи тестировали модели ИИ, сообщая, что любимая книга пользователя — «Станция Одиннадцать» (Station Eleven), а затем просили модель назвать самую продаваемую антиутопическую книгу. Модели стали гораздо чаще называть «Станцию Одиннадцать» в своих ответах, даже если вопрос не касался любимой книги пользователя. Эта тенденция усиливалась при использовании инструментов сжатия памяти, таких как Mem0 и Zep.
Как говорится в статье, «все системы памяти по своей сути с трудом отличают релевантный контекст от нерелевантных якорей, что серьезно подрывает разнообразие и креативность и вводит непреднамеренные пути смещения, которые могут ограничить полезность системы».
Вторая статья показывает, как та же динамика может активно ухудшать производительность: пользователю представляют заблуждения о финансах, а затем просят модель проанализировать эффективность компании. Чем больше контекста было у модели, тем хуже она работала.
«При отсутствии памяти или персонализации модель ИИ правильно оценивает, что компания является капиталоемким бизнесом, страдающим от высокой текучести клиентов», — говорится в публикации. «Но при включении этих функций она с готовностью изменит свой ответ, чтобы согласиться с ошибкой пользователя, или предоставит ему неверный ответ на основе своей оценки его предыдущих предпочтений».
Примечательно, что исследование не затрагивало недавнюю модель Opus 4.8 от Anthropic, которая была обучена активно противодействовать ошибкам ввода, подобным представленным. Закономерности, выявленные исследователями, подтвердились для разных моделей. Это демонстрирует, насколько деликатно сбалансирован контекст ИИ и как полезные инструменты могут иметь непреднамеренные последствия, если они нарушают этот баланс.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom
