FullSubNet+: полносвязная FullSubNet с механизмом канального внимания и комплексными спектрограммами для улучшения речи
FullSubNet+: Channel Attention Fullsubnet with Complex Spectrograms for Speech Enhancement
2022-04-27
SCID: 54.1/e4nvdxz7
Discuss with AI
DNS ChallengeFullSubNet+канальное вниманиекомплексные спектрограммывременная сверточная сеть
Figures from the paper
Abstract (AI)
Ранее предложенная модель FullSubNet продемонстрировала выдающиеся результаты в конкурсе Deep Noise Suppression (DNS) Challenge и привлекла значительное внимание. Однако она по-прежнему сталкивается с такими проблемами, как несоответствие входных и выходных данных и грубая обработка частотных полос. В этой работе мы предлагаем расширенную одноканальную систему улучшения речи в реальном времени FullSubNet+, включающую несколько существенных усовершенствований. Во-первых, мы разрабатываем облегчённый многомасштабный модуль канального внимания с учётом временной структуры (MulCA), в котором используются многомасштабная свёртка и механизм канального внимания, позволяющие сети сосредоточиться на наиболее различающихся частотных полосах для снижения шума. Затем, чтобы в полной мере использовать информацию о фазе в зашумлённой речи, наша модель принимает на вход спектрограммы модуля, действительной и мнимой частей. Кроме того, заменив слои долговременной краткосрочной памяти (LSTM) в исходной полночастотной модели на последовательность блоков временной свёрточной сети (TCN), мы разработали более эффективный полночастотный модуль, названный полночастотным экстрактором. Экспериментальные результаты на наборе данных DNS Challenge демонстрируют превосходство FullSubNet+: модель достигает наилучших на текущем этапе результатов (SOTA) и превосходит другие существующие методы улучшения речи.
Key Findings
1
FullSubNet+ расширяет FullSubNet до одноканальной системы улучшения речи, работающей в реальном времени и устраняющей несоответствие входов и выходов, а также грубую обработку частотных диапазонов.
2
FullSubNet+ использует в качестве входов амплитудные, действительные и мнимые спектрограммы зашумлённой речи, что позволяет полнее использовать информацию о фазе.
3
На наборе данных DNS Challenge FullSubNet+ достигает показателей уровня современных лучших методов и превосходит существующие подходы к улучшению речи.
4
Замена слоёв LSTM блоками стековой временной свёрточной сети создаёт более эффективный полночастотный экстрактор.
5
Облегчённый модуль многомасштабного времязависимого канального внимания MulCA объединяет многомасштабные свёртки и канальное внимание для выделения наиболее различимых частотных диапазонов при подавлении шума.
Research Object
одноканальная система улучшения зашумлённой речи (FullSubNet+)
Research Subject
эффективность шумоподавления в реальном времени за счёт обработки наиболее информативных частотных полос и моделирования спектрограмм по модулю и фазе
Publication Details
Publication Date
2022-04-27
Journal
Publisher
ISSN
Cited by
127
Access Type
Author Information
Download PDF
Subscribe to digest