Многозадачный трансформер для распознавания эмоций в речи в условиях межкорпусного переноса

Multitask Transformer for Cross-Corpus Speech Emotion Recognition
Rajib Kumar Rana, Jagath Chandana Rajapakse, Carlos Busso, Chung-Soo Ahn
2025-01-07

контрастивное обучениекросс-корпусное распознавание эмоций речислияние на уровне решениймногозадачное обучениепредобученный трансформер
Глубокое обучение существенно продвинуло область распознавания эмоций в речи (SER), однако его эффективность в условиях межкорпусного переноса остается проблемой. Для преодоления этого ограничения недавние исследования продемонстрировали эффективность многозадачного обучения, в котором вспомогательные задачи используются для уменьшения различий между исходным и целевым наборами данных или для переноса знаний с исходных наборов данных на целевые. Несмотря на эти усилия, общая точность межкорпусного распознавания эмоций в речи по-прежнему остается относительно низкой и требует дальнейшего внимания. Для повышения эффективности мы предлагаем многозадачную архитектуру, в которой распознавание эмоций в речи является основной задачей, а контрастивное обучение и максимизация взаимной информации — вспомогательными задачами. Вспомогательные задачи разработаны нами инновационным образом: они используют целевые данные без эмоциональных меток, что позволяет лучше моделировать целевые данные. Основой нашей многозадачной архитектуры является предварительно обученный трансформер. Хотя трансформеры привлекли внимание в задачах распознавания эмоций в речи, их применение в условиях межкорпусного переноса по-прежнему ограничено. Мультимодальные подходы для таких условий также используются весьма ограниченно. В качестве второй модальности мы используем текст, разрабатывая отдельные многозадачные трансформеры для аудио и текста и выполняя слияние на уровне решений во время вывода. Мы используем общедоступные и широко применяемые речевые корпуса, включая базы данных IEMOCAP, MSP-IMPROV и EMO-DB. Результаты демонстрируют преимущества предложенного подхода, обеспечивающего более высокую эффективность на эталонных базах данных в условиях межкорпусного переноса.
1
Контрастивное обучение и максимизация информации используют неразмеченные данные целевого домена как вспомогательные задачи, уменьшая различия между корпусами и улучшая понимание целевых данных.
2
Эксперименты на корпусах IEMOCAP, MSP-IMPROV и EMO-DB демонстрируют улучшение результатов в тестах распознавания эмоций между корпусами.
3
Отдельные многозадачные трансформеры обрабатывают аудио и текст, а при выводе выполняется слияние решений двух модальностей.
4
В основе системы лежит предварительно обученный трансформер, что расширяет применение трансформеров к распознаванию эмоций между корпусами.
5
Предложена многозадачная система для распознавания эмоций в речи между различными корпусами, где распознавание эмоций является основной задачей.

распознавание эмоций в речи между корпусами с использованием аудио и текста из речевых корпусов

эффективность и переносимость многозадачной предварительно обученной трансформерной системы, объединяющей контролируемое распознавание эмоций с контрастивным обучением, максимизацией информации и мультимодальным слиянием на уровне решений

Publication Details
Publication Date
2025-01-07
Journal
Publisher
ISSN
Cited by
23
Access Type
Author Information
Authors
Rajib Kumar Rana
Jagath Chandana Rajapakse
Carlos Busso
Chung-Soo Ahn
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%