Нормализация говорящего для самоконтролируемого распознавания эмоций в речи

Speaker Normalization for Self-Supervised Speech Emotion Recognition
Itai Gat, Hagai Aronowitz, Weizhong Zhu, Edmilson Da Silva Morais, Ron Hoory
2022-04-27

датасет IEMOCAPградиентное состязательное обучениесамоконтролируемое распознавание эмоций речинормализация говорящегораспознавание, независимое от говорящего
Крупные наборы данных для распознавания эмоций в речи трудно получить, а небольшие наборы данных могут содержать смещения. В свою очередь, классификаторы на основе глубоких нейронных сетей склонны использовать эти смещения и находить упрощённые решения, например опираться на характеристики говорящего. Такие упрощённые решения обычно ухудшают способность модели к обобщению. Для решения этой проблемы мы предлагаем основанный на градиентах фреймворк состязательного обучения, который решает задачу распознавания эмоций в речи, одновременно нормализуя характеристики говорящего в признаковом представлении. Мы демонстрируем эффективность метода как в условиях независимости от говорящего, так и в условиях зависимости от говорящего и получаем новые результаты мирового уровня на сложном наборе данных IEMOCAP.
1
Предложен метод градиентного состязательного обучения, который одновременно решает задачу распознавания эмоций и нормализует характеристики говорящего в признаковых представлениях.
2
Предложенный подход достиг новых наилучших результатов на сложном наборе данных IEMOCAP для распознавания эмоций в речи.
3
Метод продемонстрировал эффективность как в условиях независимости от говорящего, так и в условиях зависимости от говорящего.
4
В работе характеристики говорящего рассматриваются как смещения данных, которые модели самообучаемого распознавания эмоций могут использовать как вредные эвристики.

модели распознавания эмоций по речи и их признаковые представления

влияние основанной на градиентах состязательной нормализации характеристик говорящего на сокращение обходных признаков, связанных с говорящим, и повышение обобщающей способности при распознавании эмоций в условиях независимости и зависимости от говорящего

Publication Details
Publication Date
2022-04-27
Journal
Publisher
ISSN
Cited by
69
Access Type
Author Information
Authors
Itai Gat
Hagai Aronowitz
Weizhong Zhu
Edmilson Da Silva Morais
Ron Hoory
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%