UNet с канальным и временно-частотным вниманием для улучшения монофонической речи
Channel and temporal-frequency attention UNet for monaural speech enhancement
2023-08-14
SCID: 54.1/m6kewdps
Discuss with AI
UNetканальное и временно-частотное вниманиекомплексная идеальная маска отношенияглубокое подавление шумамонофоническое улучшение речи
Figures from the paper
Abstract (AI)
Наличие шума и реверберации существенно снижает четкость и разборчивость речи. Для ослабления этих эффектов было предложено множество сетевых моделей на основе глубокого обучения, предназначенных для улучшения речи и повышения ее качества. В данной работе мы предлагаем модель улучшения монофонической речи, называемую UNet с канальным и временно-частотным вниманием (CTFUNet). На вход CTFUNet подается спектр зашумленной речи, а на выходе формируется комплексная идеальная маска отношения (cIRM). Для повышения эффективности улучшения речи с помощью CTFUNet мы применяем многоуровневую временно-частотную обработку для извлечения признаков входного спектра речи. Кроме того, мы используем канальное внимание с несколькими сверточными головами и остаточное канальное внимание для выделения временно-частотных и канальных признаков. Более того, мы вводим канально-временно-частотное пропускающее соединение, чтобы уменьшить потерю информации между операциями понижающей и повышающей дискретизации. На слепом тестовом наборе первого конкурса по подавлению глубокого шума предложенная CTFUNet продемонстрировала лучшие характеристики шумоподавления по сравнению с моделями-победителями и новейшими моделями. Кроме того, наша модель превосходит современные модели, такие как Uformar и MTFAA, как по эффективности шумоподавления, так и по качеству устранения реверберации.
Key Findings
1
Для уменьшения потери информации между этапами понижающей и повышающей дискретизации UNet введено канально-временно-частотное пропускное соединение.
2
CTFUNet — модель монофонического улучшения речи, преобразующая спектр зашумлённой речи в комплексную идеальную маску отношений (cIRM).
3
CTFUNet превосходит Uformer и MTFAA как по шумоподавлению, так и по подавлению реверберации.
4
На слепом тестовом наборе первого конкурса Deep Noise Suppression Challenge CTFUNet демонстрирует лучшее шумоподавление, чем модели-победители и новейшие конкурирующие модели.
5
Модель использует многошкальную временно-частотную обработку, многосвёрточное головное канальное внимание и остаточное канальное внимание для извлечения речевых и канальных признаков.
Research Object
монофонические зашумлённые и реверберированные речевые сигналы
Research Subject
эффективность подавления шума и дереверберации, включая повышение качества и разборчивости речи
Publication Details
Publication Date
2023-08-14
Journal
Publisher
ISSN
Cited by
21
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Сети Squeeze-and-Excitation2018
Распознавание речи с помощью глубоких рекуррентных нейронных сетей2013
Restormer: эффективный Transformer для восстановления изображений высокого разрешения2022
FullSubNet+: полносвязная FullSubNet с механизмом канального внимания и комплексными спектрограммами для улучшения речи2022