Министерство транспорта Великобритании (DfT) совместно с Google Cloud и Институтом Алана Тьюринга разработало Инструмент анализа консультаций (Consultation Analysis Tool, CAT) для анализа отзывов граждан по итогам публичных консультаций. В отчете, опубликованном Институтом Алана Тьюринга в декабре 2025 года, отмечается, что проект является частью цели DfT по использованию инструментов искусственного интеллекта (ИИ) для повышения эффективности работы ведомства. Инструмент CAT обеспечивает тематический анализ отзывов публичных консультаций, где свободный текст из обращений граждан сопоставляется с определенными темами с использованием больших языковых моделей (LLM). Авторы отчета указывают, что хотя использовать LLM для проведения тематического анализа относительно просто, «проектирование систем, соответствующих человеческим предпочтениям, имеющих соответствующий уровень человеческого контроля и обладающих надежной структурой оценки производительности, является более сложной задачей». Среди областей, на которых сосредоточилась команда, — демографическая предвзятость. В отчете говорится, что, хотя CAT явно не использует демографические переменные в каких-либо подсказках LLM, «LLM может работать хуже с ответами, написанными на плохом английском языке или использующими социокультурно специфический язык, такой как многословие или сленг». Учитывая, что граждане сами решают участвовать в публичных консультациях, авторы отчета заявили: «Мы решили, что особенно важно инвестировать ограниченные человеческие ресурсы в обеспечение точности и качества этапа генерации тем». Они отметили, что наличие человека в цикле (human-in-the-loop) гарантирует выявление потенциальных ошибок ИИ или неверных толкований и сохраняет человеческое суждение в центре понимания общественного мнения. «Наш подход формально интегрирует человеческий контроль на этапе обзора тем, а также на этапах анализа и написания отчетов, когда пользователи анализируют анализ, поддерживаемый CAT, и выбирают репрезентативные цитаты», — добавили они. CAT использует конвейер LLM для сопоставления каждого отдельного ответа, предоставленного в рамках публичной консультации, с темой, проверенной человеком. Процесс сопоставления использует так называемую систему большинства голосов, где разным LLM предлагается классифицировать данный ответ в рамках обращения в рамках публичной консультации по теме. Тема классифицируется для ответа только в том случае, если большинство LLM согласны с одной и той же классификацией. Это часто называют LLM-как-судья. По словам авторов отчета, этот метод создает всеобъемлющее соответствие между ответами и темами. Хотя в отчете указано, что CAT систематически менее точен в сопоставлении тем с ответами для определенных демографических групп, в нем также отмечено, что конструкция CAT включает несколько мер защиты для снижения предвзятости, включая исключение демографических переменных из подсказок и контроль человеком всех тем, сгенерированных CAT. Авторы отчета заявили: «Процесс обзора тем с участием человека гарантирует, что вероятность извлечения всех «истинных» основных тем в наборе данных приближается к 100% при человеческом обзоре, что и является тем, как CAT используется на практике». CAT построен на платформе Vertex AI от Google и использует модели Gemini. По данным DfT, он способен выявлять и категоризировать темы из отзывов общественности всего за несколько часов — процесс, который ранее часто занимал месяцы. Он уже использовался для поддержки анализа общественной реакции на Интегрированную национальную транспортную стратегию и для улучшения правил бронирования экзаменов по вождению.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Cliff Saran
