Эмоции редко остаются постоянными при просмотре видео, однако традиционные видеоисследования эмоций присваивают одному клипу одну метку, считая всё содержимое целевой эмоцией, даже если большая его часть нейтральна или переходна. Это вносит временной шум в разметку и приводит к тому, что маркированные сигналы не совпадают с истинным эмоциональным состоянием человека. Команда из Школы искусственного интеллекта Северо-Западного политехнического университета под руководством профессора Се Сунъюня решила эту проблему, научив ИИ определять точный момент пика эмоции.
Опираясь на «правило пика-конца» из когнитивной психологии, команда предложила подход к тонкой разметке, основанный на немедленном воспоминании и локализации пика эмоции, и создала мультимодальный набор данных эмоций FIRMED (распознавание эмоций является основой для интеллектуального взаимодействия человека и компьютера, оценки психического здоровья и мониторинга здоровья). После просмотра экспериментальных видео участники сразу же повторно просматривают запись и отмечают один или несколько явных эмоциональных моментов, указывая категорию и интенсивность. Это позволяет избежать нарушения естественного процесса сбора эмоций и физиологических сигналов, а также уменьшает смещение памяти, связанное с отсроченным воспроизведением.
Исследователи центрировали «четырёхсекундное окно эмоционального события» на каждом отмеченном моменте — по две секунды до и после. Сравнение при абляции показало, что четыре секунды наилучшим образом балансируют полноту и точность; увеличение до пяти секунд размывает такие признаки, как удивление и отвращение, ослабляя связанное со страхом альфа-подавление и связанное с радостью гамма-усиление.
Два независимых рецензента проверили 150 случайно выбранных записей и достигли каппы Коэна 0,96 по согласованию категорий эмоций, при этом 97,7% временных маркеров оказались в пределах одной секунды, а также наблюдались заметные сдвиги в сигналах ЭЭГ и кожно-гальванической реакции.
Чтобы проверить, помогают ли более точные метки моделям распознавания, команда запустила восемь репрезентативных алгоритмов, охватывающих машинное обучение, рекуррентные и графовые нейросети. При разметке на основе пиков все восемь алгоритмов улучшились, повысив среднюю точность с 34,7% до 38,5% — прирост на 3,8 процентных пункта, причём наибольший выигрыш получили глубокие пространственно-временные модели.
Эта работа продвигает распознавание эмоций от классификации по целому клипу к локализации ключевых эмоциональных событий и динамическому анализу. Применения могут позволить интерфейсам человек–компьютер реагировать на наиболее эмоционально заряженный момент, извлекать клинически значимые фрагменты для скрининга психического здоровья и поддерживать оповещения об эмоциях в реальном времени в носимых устройствах.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily
