FSTF-AN: объединённая разреженная временно-частотная сеть с механизмом внимания для многоканального улучшения речи

FSTF-AN: Fused Sparse Temporal-Frequency Attentive Network for Multi-Channel Speech Enhancement
Wenjie Zhang, Mingjiang Wang, Shiyun Xu, Yinghan Cao, Zehua Zhang
2025-01-01

слитое разреженное временно-частотное вниманиемногоканальное улучшение речимногошкальная сеть прямого распространениякачество и разборчивость речислитое разреженное само-внимание top-k
Трансформеры продемонстрировали впечатляющие результаты в области многоканального улучшения речи, однако им сложно выделять локальные признаки, что приводит к потере деталей речи. Для повышения эффективности извлечения локальных признаков в сети мы предлагаем объединённую разреженную временно-частотную сеть с механизмом внимания (FSTF-AN), предназначенную для всестороннего захвата признаков во временно-частотном, частотном и временном измерениях. Мы предлагаем объединённый разреженный механизм самообслуживания top-$k$, который использует стратегию объединения для адаптивного сохранения наиболее важных оценок внимания при вычислении карт самообслуживания, тем самым устраняя влияние нерелевантной информации и улучшая агрегацию признаков. Кроме того, мы предлагаем многомасштабную объединённую позиционно-независимую сеть, эффективно захватывающую признаки различных масштабов и дополнительно повышающую способность сети извлекать локальные признаки. Экспериментальные результаты демонстрируют, что FSTF-AN обладает значительными преимуществами по сравнению с другими современными моделями (SOTA), эффективно повышая качество и разборчивость речи.
1
Многошкальная объединённая позиционно-независимая сеть прямого распространения извлекает признаки на нескольких масштабах, усиливая представление локальных деталей речи.
2
Эксперименты показывают, что FSTF-AN значительно превосходит другие современные модели по улучшению качества и разборчивости речи.
3
Предложена модель FSTF-AN для улучшения многоканального усиления речи за счёт более эффективного извлечения локальных признаков во временно-частотной, частотной и временной областях.
4
Механизм разреженного самовнимания top-k слияния адаптивно сохраняет наиболее важные оценки внимания, уменьшая влияние нерелевантной информации при агрегации признаков.

многоканальное улучшение речи

извлечение локальных и многомасштабных временно-частотных признаков, а также повышение качества и разборчивости речи

Publication Details
Publication Date
2025-01-01
Journal
Publisher
ISSN
Cited by
2
Access Type
Author Information
Authors
Wenjie Zhang
Mingjiang Wang
Shiyun Xu
Yinghan Cao
Zehua Zhang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%