Система распознавания речи может показать почти идеальные результаты в стандартном отраслевом бенчмарке, но при этом надежно искажать самые важные слова — названия лекарств, суммы в долларах, юридические инструкции и имена собственные, — потому что этот бенчмарк никогда не был разработан для различения семантически критических ошибок от безвредных. Исследователи и инженеры сейчас продвигают набор альтернативных метрик, которые задают совершенно другой вопрос: не сколько слов было неверно, а сколько смысла было потеряно.
Стандартный бенчмарк, называемый частотой ошибок в словах (Word Error Rate, WER), подсчитывает замены, пропуски и вставки в расшифровке и делит это число на общее количество слов. Он был выведен из алгоритма расстояния редактирования, разработанного для сравнения последовательностей символов, — метода, заимствованного из вычислительной лингвистики и примененного к оценке речи за десятилетия до того, как голосовые интерфейсы стали фронтендом конвейеров ИИ-рассуждений. Его основной недостаток математический: каждому слову в предложении придается одинаковый вес. Пропуск слова «эм» и пропуск слова «лизиноприл» регистрируются как одна ошибка.
Проблема равного веса WER проявляется там, где ставки наиболее высоки
Следствие этой структуры равного веса не случайно. Современные системы ASR, обученные минимизировать WER, неявно научились защищать грамматический каркас предложения — артикли, предлоги, союзы, слова-заполнители, — потому что они часто встречаются в обучающих данных, и правильное предсказание легко вознаградить. Содержательные слова — отраслевая терминология, имена собственные, названия лекарств, номера счетов, команды — встречаются реже, более фонетически изменчивы и с большей вероятностью остаются остаточными ошибками после оптимизации WER.
Исследователи, включая Тибо Бане́ра-Ру и Ришара Дюфура, напрямую количественно оценили этот эффект в статье, опубликованной в апреле 2026 года. В статье представлены две метрики, предназначенные для улавливания того, что упускает WER: POSER (Part-of-Speech Error Rate), которая отслеживает, непропорционально ли ошибки транскрипции приходятся на грамматически значимые классы слов; и EmbER (Embedding Error Rate), которая взвешивает каждую ошибку замены по семантическому расстоянию между правильным словом и замененным словом в пространстве вложений. Замена, меняющая «не» на «теперь», получает гораздо более высокий балл по EmbER, чем замена, меняющая «собираюсь» на «буду», потому что семантическое расстояние между «не» и «теперь» — при измерении относительно последующего смысла предложения — намного больше.
В статье было обнаружено, что применение переоценки языковой модели (language model rescoring) — распространенного шага постобработки в конвейерах ASR — изменяет лингвистический профиль ошибок так, как WER не может обнаружить. POSER и EmbER выявили улучшения и регрессии в морфосинтаксической и семантической точности, которые полностью маскировались агрегированными показателями WER.
Семинар AssemblyAI показал, что бенчмарк наказывает более совершенные модели
Та же структурная проблема проявилась на практике в этом году в AssemblyAI, поставщике API преобразования речи в текст, когда клиенты сообщили, что новейшая модель компании, Universal-3 Pro, показала худшие результаты во внутренних бенчмарках, чем ее предшественник. Инженерная команда провела расследование и обнаружила, что Universal-3 Pro наказывали за транскрибирование слов, которые были пропущены в эталонной разметке, выполненной человеком, — бэкчеллов, тихих подтверждений, накладывающейся речи. Бенчмарк измерял, насколько точно модель соответствует ошибочным человеческим меткам, а не то, насколько точно она транскрибирует аудио.
31 марта 2026 года инженеры AssemblyAI Зак, Гриффин и Райан провели прямой семинар под названием «Ваша эталонная разметка неверна» (Your Ground Truth Is Wrong), демонстрируя слово за словом — с использованием реального воспроизведения аудио, — где конвейер оценки давал неверные вердикты. Вывод: WER, применяемый сегодня для оценки в продакшене, основан на категориальной ошибке. Эталонные файлы, по которым оцениваются современные высокоточные модели, транскрибировались людьми, которые регулярно пропускают те виды низкозначимой речи, которые улавливает более точная модель. Затем метрика считает эти захваты ошибок.
Компания теперь рекомендует оценивать системы ASR с помощью WER наряду с двумя дополнительными метриками: Semantic WER (семантическая частота ошибок в словах), которая снижает штраф за замены, сохраняющие смысл, и Missed Entity Rate (частота пропущенных сущностей), которая измеряет точность конкретно по тем словам, от которых больше всего зависят нижестоящие системы, — имена собственные, медицинские термины, номера счетов, отраслевая терминология и даты.
Содержательные слова несут семантический налог
В отдельной статье, опубликованной в марте 2026 года исследователями из Технического университета Дании, была представлена концепция «налога на разнообразие» (diversity tax) — непропорциональное бремя, которое равное взвешивание WER накладывает на нетипичных дикторов, поскольку ошибки, сохраняющиеся в системе с низким WER, распределяются не случайным образом по типам слов или демографическим группам дикторов. В статье WER сравнивался с EmbER, Semantic Distance и новой метрикой под названием индекс сложности выборки (sample difficulty index), и было обнаружено, что оценка, основанная только на лексике, систематически недооценивает серьезность сбоев для дикторов с акцентированной или нестандартной речью — именно потому, что их ошибки концентрируются на содержательных словах, а не на служебных.
Практическое следствие для любого, кто развертывает голосовой ИИ, прямое. Медицинское приложение, транскрибирующее клиническую документацию, финансовый голосовой агент, выполняющий голосовые переводы средств, или бот службы поддержки, подающий транскрипты в LLM для классификации намерений, — все они зависят от точности содержательных слов так, как агрегированный WER измерить не может. Система, сообщающая о 2% WER, может искажать каждое третье название лекарства, которое она слышит.
Как ошибки накапливаются в конвейерах LLM
Ставки особенно высоки в агентных сценариях, где вывод ASR напрямую подается в конвейеры рассуждений больших языковых моделей (LLM). Ошибка транскрипции не остается локальной для транскрипта — она распространяется. Рассмотрим голосовую команду: «Переведи пятьсот долларов на текущий счет, а не на сберегательный». Замена, меняющая «не» на «теперь», является однословной ошибкой, ошибкой округления с точки зрения WER. Для нижестоящей LLM, выполняющей инструкцию, это полная инверсия намерения.
Эта усложняющаяся динамика означает, что плотность семантических ошибок на уровне транскрипции является более сильным предиктором сбоя нижестоящего конвейера, чем общая точность транскрипции. Недавние работы по контекстным системам ASR специально нацелены на эту проблему — статья, опубликованная ранее в этом месяце и принятая на ACL Industry Track 2026, предлагает обучать речевые модели рассуждать на основе контекстных метаданных для уменьшения ошибок, особенно в отношении редких терминов и именованных сущностей, утверждая, что стандартные конвейеры коррекции ошибок терпят неудачу именно в тех категориях слов, которые наиболее важны в продакшене.
Что требует лучшая оценка
Semantic WER изменяет стандартную формулу, заменяя бинарные штрафы за замены на градированные штрафы, основанные на семантической схожести, — замена слова близким синонимом стоит меньше, чем замена словом из совершенно другой семантической области. Missed Entity Rate фокусирует измерение исключительно на именованных сущностях и отраслевых терминах, на которые опираются нижестоящие системы, рассматривая ошибки в этих словах как основной сигнал.
Ни одна из этих метрик пока не является стандартом. WER остается показателем, который публикуют поставщики, который используют отделы закупок и который оптимизируют исследователи. Но направление развития области очевидно: по мере того как голосовые интерфейсы становятся основным входным слоем для ИИ-агентов в здравоохранении, финансах и корпоративном программном обеспечении, терпимость к бенчмарку, который считает «эм» и название лекарства эквивалентными, снижается.
Вопрос, на котором сходится отрасль, заключается не в том, сколько слов система понимает неправильно, а в том, какие именно — и не ломают ли те, что поняты неправильно, весь конвейер.
Часто задаваемые вопросы
Что такое частота ошибок в словах (WER) и почему она используется в качестве основного бенчмарка распознавания речи?
Частота ошибок в словах — это процент слов в транскрипте, которые отличаются от эталонной транскрипции, рассчитываемый как сумма замен, вставок и пропусков, деленная на общее количество слов. Это доминирующая метрика оценки автоматического распознавания речи с 1990-х годов, поскольку она дает одно, воспроизводимое число, позволяющее сравнивать системы бок о бок. Ее ограничение в том, что она считает все слова одинаково важными — факт, который имел меньшее значение, когда основным сценарием использования было диктовка, и имеет гораздо большее значение теперь, когда транскрипты напрямую поступают в конвейеры ИИ-агентов, где одно неверное слово может отменить команду.
Каковы ограничения WER при оценке систем голосового ИИ?
Равное взвешивание в WER означает, что система может достичь низкого уровня ошибок, систематически искажая слова, которые несут наибольший смысл: имена собственные, медицинская терминология, финансовые данные, отраслевые команды. Поскольку современные модели ASR обучаются минимизировать WER, они неявно вознаграждаются за защиту грамматических слов-заполнителей — артиклей, предлогов, союзов, — которые часты и легко предсказуемы. Семантически критические слова, которые реже встречаются и более фонетически изменчивы, становятся остаточной популяцией ошибок. В агентных системах и системах на основе LLM эти остаточные ошибки распространяются ниже по конвейеру и могут обратить вспять намерение инструкции.
Что такое семантическая WER и как она измеряет точность распознавания речи иначе?
Semantic WER изменяет стандартную формулу, заменяя бинарные штрафы — где любое неверное слово считается одной ошибкой — на градированные штрафы, основанные на том, насколько семантически удалено замененное слово от правильного. Замена слова близким синонимом стоит меньше, чем замена словом из совершенно другой области. Связанная метрика, Missed Entity Rate, ограничивает оценку исключительно именованными сущностями и отраслевыми терминами, исходя из того, что эти слова — то, от чего на самом деле зависят нижестоящие приложения. Вместе они измеряют не то, сколько слов было неверно, а то, сколько смысла было потеряно.
Как ошибка транскрипции в голосовом ИИ влияет на поведение нижестоящих LLM?
Когда вывод ASR подается в большую языковую модель, ошибка транскрипции на входном уровне не остается в пределах транскрипта — она становится частью контекста LLM. Ошибка в служебном слове часто безвредна, поскольку LLM может вывести предполагаемый смысл из окружающего контекста. Ошибка в содержательном слове — название лекарства, сумма в долларах, именованная сущность, отрицание — может изменить понимание LLM того, что было сказано. В голосовом агенте, выполняющем финансовый перевод, замена «не» на «теперь» — это однословная ошибка, которая полностью меняет инструкцию. WER считает обе ошибки одинаково.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Scott McCain
