Исследователи из Института программного обеспечения Китайской академии наук (CAS) в сотрудничестве с Университетом Китайской академии наук разработали Reasoning Lens — систему, предназначенную для визуализации и диагностики процессов рассуждений больших языковых моделей. Статья была опубликована в виде препринта 22 июня 2026 года (arXiv:2606.23404).
По мере того как модели ИИ становятся все более мощными, их следы рассуждений — известные как цепочка рассуждений (chain-of-thought, CoT) — становятся все более громоздкими. Внутренний монолог ведущей модели при решении математической задачи может достигать десятков тысяч символов, что создает то, что исследовательская группа называет «бременем прозрачности». Чем способнее ИИ, тем сложнее проверить его логику.
Reasoning Lens решает эту проблему с помощью трех основных функций. Первая — иерархическая визуализация, которая отображает процесс рассуждения модели на многоуровневой карте. Она классифицирует действия рассуждения на две категории: поведение на уровне исследования (декомпозиция, возврат, верификация) и поведение на уровне эксплуатации (извлечение знаний, процедурное выполнение, объявление состояния). Система сегментирует необработанный текст на единицы планирования и строит как древовидные диаграммы макроуровня, показывающие общую стратегию, так и микроуровневые представления, раскрывающие пошаговые зависимости.
Вторая функция — проактивная диагностика. Система определяет пять распространенных типов ошибок: чрезмерное обдумывание (overthinking), проблемы безопасности, ошибки знаний, логические ошибки и ошибки форматирования. Многоагентная диагностическая система — включающая модуль памяти, модуль верификации и модуль предложений — работает совместно для обнаружения и анализа этих ошибок, предоставляя действенные рекомендации по их исправлению.
Третья функция — систематическое профилирование, которое агрегирует анализ по нескольким следам рассуждений для создания поведенческого профиля модели. Это выявляет закономерности в том, как модель исследует, проверяет данные, и где находятся ее структурные слабости. Команда также создала эталонный набор данных LensBench, содержащий 130 тщательно отобранных случаев для проверки точности системы.
Reasoning Lens представляет собой значительный прорыв в области интерпретируемости ИИ, превращая процесс рассуждения модели из «черного ящика» в читаемый, диагностируемый и улучшаемый процесс.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
