Понимание роли эмоций в процессе принятия решений: использование машинного обучения для анализа физиологических реакций на визуальную, аудиальную и комбинированную стимуляцию

Understanding the role of emotion in decision making process: using machine learning to analyze physiological responses to visual, auditory, and combined stimulation
Luca Mainardi, Riccardo Barbieri, Edoardo Maria Polo, Andrea Farabbi, Maximiliano Mollura
2024-01-07

сердечно-респираторная связностьэлектроэнцефалограмма (EEG)модальности эмоциональной стимуляции (визуальная, аудиторная, комбинированная)кожногальваническая реакция (GSR)физиологические реакции
Эмоции существенно формируют процесс принятия решений, и целенаправленное вызывание эмоциональных состояний представляет собой важный фактор в нейромаркетинге, где они влияют на эффективность рекламы, привлекая внимание потенциальных покупателей, тесно связанное с эмоциональными триггерами. Анализ биометрических параметров после воздействия стимулов может способствовать пониманию эмоциональных состояний. В данном исследовании изучаются реакции автономной и центральной нервной системы на эмоциональные стимулы — изображения, звуковые сигналы и их сочетание — при одновременной регистрации физиологических сигналов, а именно электрокардиограммы, пульсового объема крови (blood volume pulse), кожно-гальванической реакции, пупиллометрии, дыхания и электроэнцефалограммы. Основная цель предложенного анализа — сравнить методы эмоциональной стимуляции и определить наиболее эффективный подход для получения отличительных физиологических паттернов. Применяется новая техника отбора признаков для дальнейшей оптимизации разделения четырех эмоциональных состояний. Для распознавания эмоций, вызванных различными видами стимуляции, используются базовые методы машинного обучения. Наиболее значимыми признаками для различения четырех эмоциональных состояний оказались характеристики, полученные из электроэнцефалографических сигналов, кожно-гальванической реакции и признаков, выведенных из кардио-респираторной связи. Дополнительные результаты подчеркивают, что аудиальные стимулы играют решающую роль в формировании отчетливых физиологических паттернов, способствующих улучшению классификации в задаче с четырьмя классами. При комбинированной стимуляции всеми тремя типами достоверность на валидации составила 49%. Фазы с только звуком и только изображениями дали соответственно 52% и 44% точности, тогда как комбинированная стимуляция изображениями и звуком показала 51% точности. Изолированные визуальные стимулы дают менее четкие паттерны, требуя большего числа сигналов и обеспечивая относительно худшую производительность по сравнению с другими типами стимулов. Это неожиданное значение частично объясняется ограниченным вниманием к аудиальным аспектам в литературе по распознаванию эмоций, особенно в сравнении с множеством исследований, проведенных с использованием визуальной стимуляции. В маркетинге аудиальные компоненты могут иметь более значительный потенциал для влияния на потребительский выбор.
1
Аудиторные стимулы формировали более различимые физиологические паттерны, что улучшало классификацию эмоций по сравнению с визуальными стимулами.
2
Сигналы ЭЭГ, галваническая кожная реакция (GSR) и признаки, полученные из кардиореспираторной связи, оказались наиболее значимыми для различения четырех эмоциональных состояний.
3
Изолированные визуальные стимулы давали менее различимые паттерны и требовали большего числа сигналов, что приводило к относительно худшей классификационной производительности.
4
Только звук обеспечил точность 52%, только изображение — 44%, а комбинированные изображение+звук — 51%.
5
Точность валидации для классификации четырех эмоциональных состояний составила 49% при объединении визуальной, аудиторной и комбинированной стимуляции.

Физиологические реакции в автономной и центральной нервной системе человека (ЭКГ, BVP, GSR, пупиллометрия, дыхание, ЭЭГ) на визуальные, аудиальные и комбинированные эмоциональные стимулы

Различение и классификация четырёх эмоциональных состояний с помощью отбора признаков и машинного обучения и сравнение эффективности стимуляции только изображениями, только звуком и комбинированной стимуляции на основе различимых физиологических паттернов

Publication Details
Publication Date
2024-01-07
Journal
Publisher
ISSN
Cited by
16
Access Type
Author Information
Authors
Luca Mainardi
Riccardo Barbieri
Edoardo Maria Polo
Andrea Farabbi
Maximiliano Mollura
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%