UNet с канальным и временно-частотным вниманием для улучшения монофонической речи

Channel and temporal-frequency attention UNet for monaural speech enhancement
Mingjiang Wang, Shiyun Xu, Zehua Zhang
2023-08-14

UNetканальное и временно-частотное вниманиекомплексная идеальная маска отношенияглубокое подавление шумамонофоническое улучшение речи
Наличие шума и реверберации существенно снижает четкость и разборчивость речи. Для ослабления этих эффектов было предложено множество сетевых моделей на основе глубокого обучения, предназначенных для улучшения речи и повышения ее качества. В данной работе мы предлагаем модель улучшения монофонической речи, называемую UNet с канальным и временно-частотным вниманием (CTFUNet). На вход CTFUNet подается спектр зашумленной речи, а на выходе формируется комплексная идеальная маска отношения (cIRM). Для повышения эффективности улучшения речи с помощью CTFUNet мы применяем многоуровневую временно-частотную обработку для извлечения признаков входного спектра речи. Кроме того, мы используем канальное внимание с несколькими сверточными головами и остаточное канальное внимание для выделения временно-частотных и канальных признаков. Более того, мы вводим канально-временно-частотное пропускающее соединение, чтобы уменьшить потерю информации между операциями понижающей и повышающей дискретизации. На слепом тестовом наборе первого конкурса по подавлению глубокого шума предложенная CTFUNet продемонстрировала лучшие характеристики шумоподавления по сравнению с моделями-победителями и новейшими моделями. Кроме того, наша модель превосходит современные модели, такие как Uformar и MTFAA, как по эффективности шумоподавления, так и по качеству устранения реверберации.
1
Для уменьшения потери информации между этапами понижающей и повышающей дискретизации UNet введено канально-временно-частотное пропускное соединение.
2
CTFUNet — модель монофонического улучшения речи, преобразующая спектр зашумлённой речи в комплексную идеальную маску отношений (cIRM).
3
CTFUNet превосходит Uformer и MTFAA как по шумоподавлению, так и по подавлению реверберации.
4
На слепом тестовом наборе первого конкурса Deep Noise Suppression Challenge CTFUNet демонстрирует лучшее шумоподавление, чем модели-победители и новейшие конкурирующие модели.
5
Модель использует многошкальную временно-частотную обработку, многосвёрточное головное канальное внимание и остаточное канальное внимание для извлечения речевых и канальных признаков.

монофонические зашумлённые и реверберированные речевые сигналы

эффективность подавления шума и дереверберации, включая повышение качества и разборчивости речи

Publication Details
Publication Date
2023-08-14
Journal
Publisher
ISSN
Cited by
21
Access Type
Author Information
Authors
Mingjiang Wang
Shiyun Xu
Zehua Zhang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%