DECAF: мультимодальная база данных на основе МЭГ для декодирования аффективных физиологических реакций

DECAF: MEG-Based Multimodal Database for Decoding Affective Physiological Responses
Nicu Sebe, Paolo Avesani, Ioannis Patras, Ramanathan Subramanian, Mojtaba Khomami Abadi, Seyed Mostafa Kia
2015-01-15

мультимодальный набор данных DECAFаффективные физиологические реакциидинамическое предсказание эмоциймагнитоэнцефалография (MEG)однократная классификация эмоций
В данной работе представлена DECAF — мультимодальный набор данных для декодирования физиологических реакций пользователей на мультимедийный контент, вызывающий эмоциональный отклик. В отличие от таких наборов данных, как DEAP [15] и MAHNOB-HCI [31], DECAF содержит (1) мозговые сигналы, полученные с помощью магнитоэнцефалографии (МЭГ), которая требует минимального физического контакта с кожей головы пользователя и тем самым облегчает регистрацию естественных аффективных реакций, и (2) явные и неявные эмоциональные реакции 30 участников на 40 одноминутных фрагментов музыкальных видеоклипов, использованных в [15], и 36 фрагментов кинофильмов, что позволяет сравнивать модальности ЭЭГ и МЭГ, а также стимулы в виде кинофильмов и музыки при распознавании аффективных состояний. Помимо данных МЭГ, DECAF включает синхронно зарегистрированные видео лица в ближнем инфракрасном диапазоне (NIR), горизонтальную электроокулограмму (hEOG), электрокардиограмму (ЭКГ) и периферические физиологические реакции, зарегистрированные с помощью электромиографии трапециевидной мышцы (tEMG). Для демонстрации возможностей DECAF представлены (i) подробный анализ корреляций между самооценками участников и их физиологическими реакциями и (ii) результаты классификации по отдельным пробам для валентности, возбуждения и доминантности с оценкой эффективности по сравнению с существующими наборами данных. DECAF также содержит непрерывные во времени эмоциональные аннотации фрагментов кинофильмов, полученные от семи пользователей; они использованы для демонстрации динамического прогнозирования эмоций.
1
DECAF содержит явные и неявные эмоциональные реакции, что позволяет сравнивать модальности EEG и MEG, а также стимулы в виде кинофрагментов и музыкальных видео.
2
DECAF представляет мультимодальный набор данных об аффективных реакциях, включающий записи MEG 30 участников при просмотре музыкальных видео и кинофрагментов.
3
Авторы анализируют корреляции между самооценками эмоций и физиологическими реакциями, а также оценивают классификацию валентности, возбуждения и доминантности на отдельных испытаниях в сравнении с существующими наборами данных.
4
Набор данных объединяет MEG с синхронными видеозаписями лица в ближнем инфракрасном диапазоне, горизонтальной ЭОГ, ЭКГ и ЭМГ трапециевидной мышцы.
5
Непрерывные во времени эмоциональные аннотации семи пользователей позволяют демонстрировать динамическое предсказание эмоций для кинофрагментов.

Мультимодальный набор данных DECAF о физиологических реакциях, включающий записи MEG, видео лиц, hEOG, ECG и tEMG участников, подвергавшихся воздействию эмоционально насыщенных музыкальных видеофрагментов и киносюжетов

Декодирование и характеристика аффективных физиологических реакций, включая их корреляции с самооценкой эмоций, а также классификацию и прогнозирование валентности, возбуждения, доминирования и динамики эмоций

Publication Details
Publication Date
2015-01-15
Journal
Publisher
ISSN
Cited by
375
Access Type
Author Information
Authors
Nicu Sebe
Paolo Avesani
Ioannis Patras
Ramanathan Subramanian
Mojtaba Khomami Abadi
Seyed Mostafa Kia
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%