Многозадачный трансформер для распознавания эмоций в речи в условиях межкорпусного переноса
Multitask Transformer for Cross-Corpus Speech Emotion Recognition
2025-01-07
SCID: 54.1/qjkfwqas
Discuss with AI
контрастивное обучениекросс-корпусное распознавание эмоций речислияние на уровне решениймногозадачное обучениепредобученный трансформер
Figures from the paper
Abstract (AI)
Глубокое обучение существенно продвинуло область распознавания эмоций в речи (SER), однако его эффективность в условиях межкорпусного переноса остается проблемой. Для преодоления этого ограничения недавние исследования продемонстрировали эффективность многозадачного обучения, в котором вспомогательные задачи используются для уменьшения различий между исходным и целевым наборами данных или для переноса знаний с исходных наборов данных на целевые. Несмотря на эти усилия, общая точность межкорпусного распознавания эмоций в речи по-прежнему остается относительно низкой и требует дальнейшего внимания. Для повышения эффективности мы предлагаем многозадачную архитектуру, в которой распознавание эмоций в речи является основной задачей, а контрастивное обучение и максимизация взаимной информации — вспомогательными задачами. Вспомогательные задачи разработаны нами инновационным образом: они используют целевые данные без эмоциональных меток, что позволяет лучше моделировать целевые данные. Основой нашей многозадачной архитектуры является предварительно обученный трансформер. Хотя трансформеры привлекли внимание в задачах распознавания эмоций в речи, их применение в условиях межкорпусного переноса по-прежнему ограничено. Мультимодальные подходы для таких условий также используются весьма ограниченно. В качестве второй модальности мы используем текст, разрабатывая отдельные многозадачные трансформеры для аудио и текста и выполняя слияние на уровне решений во время вывода. Мы используем общедоступные и широко применяемые речевые корпуса, включая базы данных IEMOCAP, MSP-IMPROV и EMO-DB. Результаты демонстрируют преимущества предложенного подхода, обеспечивающего более высокую эффективность на эталонных базах данных в условиях межкорпусного переноса.
Key Findings
1
Контрастивное обучение и максимизация информации используют неразмеченные данные целевого домена как вспомогательные задачи, уменьшая различия между корпусами и улучшая понимание целевых данных.
2
Эксперименты на корпусах IEMOCAP, MSP-IMPROV и EMO-DB демонстрируют улучшение результатов в тестах распознавания эмоций между корпусами.
3
Отдельные многозадачные трансформеры обрабатывают аудио и текст, а при выводе выполняется слияние решений двух модальностей.
4
В основе системы лежит предварительно обученный трансформер, что расширяет применение трансформеров к распознаванию эмоций между корпусами.
5
Предложена многозадачная система для распознавания эмоций в речи между различными корпусами, где распознавание эмоций является основной задачей.
Research Object
распознавание эмоций в речи между корпусами с использованием аудио и текста из речевых корпусов
Research Subject
эффективность и переносимость многозадачной предварительно обученной трансформерной системы, объединяющей контролируемое распознавание эмоций с контрастивным обучением, максимизацией информации и мультимодальным слиянием на уровне решений
Publication Details
Publication Date
2025-01-07
Journal
Publisher
ISSN
Cited by
23
Access Type
Author Information
Download PDF
Subscribe to digest