FullSubNet+: полносвязная FullSubNet с механизмом канального внимания и комплексными спектрограммами для улучшения речи

FullSubNet+: Channel Attention Fullsubnet with Complex Spectrograms for Speech Enhancement
Helen Meng, Zilin Wang, Zhiyong Wu, Helen M. L. Meng, Shiyin Kang, Jun Chen, Deyi Tuo
2022-04-27

DNS ChallengeFullSubNet+канальное вниманиекомплексные спектрограммывременная сверточная сеть
Ранее предложенная модель FullSubNet продемонстрировала выдающиеся результаты в конкурсе Deep Noise Suppression (DNS) Challenge и привлекла значительное внимание. Однако она по-прежнему сталкивается с такими проблемами, как несоответствие входных и выходных данных и грубая обработка частотных полос. В этой работе мы предлагаем расширенную одноканальную систему улучшения речи в реальном времени FullSubNet+, включающую несколько существенных усовершенствований. Во-первых, мы разрабатываем облегчённый многомасштабный модуль канального внимания с учётом временной структуры (MulCA), в котором используются многомасштабная свёртка и механизм канального внимания, позволяющие сети сосредоточиться на наиболее различающихся частотных полосах для снижения шума. Затем, чтобы в полной мере использовать информацию о фазе в зашумлённой речи, наша модель принимает на вход спектрограммы модуля, действительной и мнимой частей. Кроме того, заменив слои долговременной краткосрочной памяти (LSTM) в исходной полночастотной модели на последовательность блоков временной свёрточной сети (TCN), мы разработали более эффективный полночастотный модуль, названный полночастотным экстрактором. Экспериментальные результаты на наборе данных DNS Challenge демонстрируют превосходство FullSubNet+: модель достигает наилучших на текущем этапе результатов (SOTA) и превосходит другие существующие методы улучшения речи.
1
FullSubNet+ расширяет FullSubNet до одноканальной системы улучшения речи, работающей в реальном времени и устраняющей несоответствие входов и выходов, а также грубую обработку частотных диапазонов.
2
FullSubNet+ использует в качестве входов амплитудные, действительные и мнимые спектрограммы зашумлённой речи, что позволяет полнее использовать информацию о фазе.
3
На наборе данных DNS Challenge FullSubNet+ достигает показателей уровня современных лучших методов и превосходит существующие подходы к улучшению речи.
4
Замена слоёв LSTM блоками стековой временной свёрточной сети создаёт более эффективный полночастотный экстрактор.
5
Облегчённый модуль многомасштабного времязависимого канального внимания MulCA объединяет многомасштабные свёртки и канальное внимание для выделения наиболее различимых частотных диапазонов при подавлении шума.

одноканальная система улучшения зашумлённой речи (FullSubNet+)

эффективность шумоподавления в реальном времени за счёт обработки наиболее информативных частотных полос и моделирования спектрограмм по модулю и фазе

Publication Details
Publication Date
2022-04-27
Journal
Publisher
ISSN
Cited by
127
Access Type
Author Information
Authors
Helen Meng
Zilin Wang
Zhiyong Wu
Helen M. L. Meng
Shiyin Kang
Jun Chen
Deyi Tuo
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%