FSTF-AN: объединённая разреженная временно-частотная сеть с механизмом внимания для многоканального улучшения речи
FSTF-AN: Fused Sparse Temporal-Frequency Attentive Network for Multi-Channel Speech Enhancement
2025-01-01
SCID: 54.1/3nwpt532
Discuss with AI
слитое разреженное временно-частотное вниманиемногоканальное улучшение речимногошкальная сеть прямого распространениякачество и разборчивость речислитое разреженное само-внимание top-k
Figures from the paper
Abstract (AI)
Трансформеры продемонстрировали впечатляющие результаты в области многоканального улучшения речи, однако им сложно выделять локальные признаки, что приводит к потере деталей речи. Для повышения эффективности извлечения локальных признаков в сети мы предлагаем объединённую разреженную временно-частотную сеть с механизмом внимания (FSTF-AN), предназначенную для всестороннего захвата признаков во временно-частотном, частотном и временном измерениях. Мы предлагаем объединённый разреженный механизм самообслуживания top-$k$, который использует стратегию объединения для адаптивного сохранения наиболее важных оценок внимания при вычислении карт самообслуживания, тем самым устраняя влияние нерелевантной информации и улучшая агрегацию признаков. Кроме того, мы предлагаем многомасштабную объединённую позиционно-независимую сеть, эффективно захватывающую признаки различных масштабов и дополнительно повышающую способность сети извлекать локальные признаки. Экспериментальные результаты демонстрируют, что FSTF-AN обладает значительными преимуществами по сравнению с другими современными моделями (SOTA), эффективно повышая качество и разборчивость речи.
Key Findings
1
Многошкальная объединённая позиционно-независимая сеть прямого распространения извлекает признаки на нескольких масштабах, усиливая представление локальных деталей речи.
2
Эксперименты показывают, что FSTF-AN значительно превосходит другие современные модели по улучшению качества и разборчивости речи.
3
Предложена модель FSTF-AN для улучшения многоканального усиления речи за счёт более эффективного извлечения локальных признаков во временно-частотной, частотной и временной областях.
4
Механизм разреженного самовнимания top-k слияния адаптивно сохраняет наиболее важные оценки внимания, уменьшая влияние нерелевантной информации при агрегации признаков.
Research Object
многоканальное улучшение речи
Research Subject
извлечение локальных и многомасштабных временно-частотных признаков, а также повышение качества и разборчивости речи
Publication Details
Publication Date
2025-01-01
Journal
Publisher
ISSN
Cited by
2
Access Type
Author Information
Download PDF
Subscribe to digest