DECAF: мультимодальная база данных на основе МЭГ для декодирования аффективных физиологических реакций
DECAF: MEG-Based Multimodal Database for Decoding Affective Physiological Responses
2015-01-15
SCID: 54.1/uavdpf87
Discuss with AI
мультимодальный набор данных DECAFаффективные физиологические реакциидинамическое предсказание эмоциймагнитоэнцефалография (MEG)однократная классификация эмоций
Figures from the paper
Abstract (AI)
В данной работе представлена DECAF — мультимодальный набор данных для декодирования физиологических реакций пользователей на мультимедийный контент, вызывающий эмоциональный отклик. В отличие от таких наборов данных, как DEAP [15] и MAHNOB-HCI [31], DECAF содержит (1) мозговые сигналы, полученные с помощью магнитоэнцефалографии (МЭГ), которая требует минимального физического контакта с кожей головы пользователя и тем самым облегчает регистрацию естественных аффективных реакций, и (2) явные и неявные эмоциональные реакции 30 участников на 40 одноминутных фрагментов музыкальных видеоклипов, использованных в [15], и 36 фрагментов кинофильмов, что позволяет сравнивать модальности ЭЭГ и МЭГ, а также стимулы в виде кинофильмов и музыки при распознавании аффективных состояний. Помимо данных МЭГ, DECAF включает синхронно зарегистрированные видео лица в ближнем инфракрасном диапазоне (NIR), горизонтальную электроокулограмму (hEOG), электрокардиограмму (ЭКГ) и периферические физиологические реакции, зарегистрированные с помощью электромиографии трапециевидной мышцы (tEMG). Для демонстрации возможностей DECAF представлены (i) подробный анализ корреляций между самооценками участников и их физиологическими реакциями и (ii) результаты классификации по отдельным пробам для валентности, возбуждения и доминантности с оценкой эффективности по сравнению с существующими наборами данных. DECAF также содержит непрерывные во времени эмоциональные аннотации фрагментов кинофильмов, полученные от семи пользователей; они использованы для демонстрации динамического прогнозирования эмоций.
Key Findings
1
DECAF содержит явные и неявные эмоциональные реакции, что позволяет сравнивать модальности EEG и MEG, а также стимулы в виде кинофрагментов и музыкальных видео.
2
DECAF представляет мультимодальный набор данных об аффективных реакциях, включающий записи MEG 30 участников при просмотре музыкальных видео и кинофрагментов.
3
Авторы анализируют корреляции между самооценками эмоций и физиологическими реакциями, а также оценивают классификацию валентности, возбуждения и доминантности на отдельных испытаниях в сравнении с существующими наборами данных.
4
Набор данных объединяет MEG с синхронными видеозаписями лица в ближнем инфракрасном диапазоне, горизонтальной ЭОГ, ЭКГ и ЭМГ трапециевидной мышцы.
5
Непрерывные во времени эмоциональные аннотации семи пользователей позволяют демонстрировать динамическое предсказание эмоций для кинофрагментов.
Research Object
Мультимодальный набор данных DECAF о физиологических реакциях, включающий записи MEG, видео лиц, hEOG, ECG и tEMG участников, подвергавшихся воздействию эмоционально насыщенных музыкальных видеофрагментов и киносюжетов
Research Subject
Декодирование и характеристика аффективных физиологических реакций, включая их корреляции с самооценкой эмоций, а также классификацию и прогнозирование валентности, возбуждения, доминирования и динамики эмоций
Publication Details
Publication Date
2015-01-15
Journal
Publisher
ISSN
Cited by
375
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest