Сквозное слияние признаков для совместной оптимизации улучшения речи и автоматического распознавания речи

End-to-end feature fusion for jointly optimized speech enhancement and automatic speech recognition
Sami Bourouis, Hela Elmannai, Nasir Saleem, Mohamed Medani, Fethi Fkih, Manal Abdullah Alohali
2025-07-01

сеть слияния на основе GRUавтоматическое распознавание речикаузальное вниманиединамическое слияние признаковулучшение речи
Улучшение речи (SE) и автоматическое распознавание речи (ASR) в системах реального времени предполагают оперативное повышение качества и разборчивости речевых сигналов, обеспечивая точную транскрипцию по мере поступления речи. SE устраняет нежелательный фоновый шум из целевого речевого сигнала в условиях высокого уровня фонового шума, что имеет решающее значение для ASR в реальном времени. В данной работе сначала предлагается сеть улучшения речи на основе модели с вниманием и кодеком. Ее основная цель заключается в подавлении шума в целевой речи при минимальных искажениях. Однако чрезмерное подавление шума в улучшенной речи может снизить эффективность последующих систем ASR вследствие потери важной скрытой информации. Хотя совместные методы SE и ASR продемонстрировали перспективность для построения устойчивых сквозных систем ASR, традиционно они используют улучшенные признаки в качестве входных данных для систем ASR. Для устранения этого ограничения в работе применяется подход динамического слияния. Он объединяет улучшенные признаки и исходные признаки зашумленной речи, стремясь удалить шумовые компоненты из улучшенной целевой речи и одновременно извлечь тонкие детали из зашумленных сигналов. Такой подход к слиянию направлен на уменьшение искажений речи и повышение общей эффективности системы ASR. Предлагаемая модель состоит из кодека с механизмом внимания и причинным вниманием для SE, сети слияния на основе GRU и системы ASR. В сети SE используется модифицированный управляемый рекуррентный блок (Gated Recurrent Unit, GRU), в котором традиционная гиперболическая тангенсная функция (tanh) заменена на основанный на внимании выпрямленный линейный блок (attention-based Rectified Linear Unit, AReLU). Эксперименты по SE стабильно демонстрируют более высокое качество и разборчивость речи, а также более эффективное подавление шума по сравнению с базовыми методами в согласованных и несогласованных условиях. На базе данных LibriSpeech предложенная система SE достигает лучших показателей STOI (19,81%) и PESQ (28,97%) в согласованных условиях, а также в несогласованных условиях (STOI: 17,27% и PESQ: 27,51%). Совместная схема обучения для устойчивого сквозного ASR e...
1
Динамическое слияние объединяет улучшенные и исходные зашумлённые признаки, сохраняя тонкую информацию, которая может теряться при чрезмерном подавлении шума.
2
По сравнению с базовыми методами предложенная система стабильно повышает качество и разборчивость речи, а также подавление шума в согласованных и несогласованных условиях; прирост STOI составил 19,81% и 17,27%, а PESQ — 28,97% и 27,51% соответственно.
3
Замена tanh на AReLU с механизмом внимания в модифицированном GRU улучшает моделирование значимых признаков в архитектуре улучшения речи.
4
Совместная модель объединяет улучшение речи с каузальным вниманием, сеть слияния на основе GRU и сквозную систему распознавания речи.
5
В работе предложена сеть улучшения речи на основе модели с внимательным кодеком, предназначенная для подавления шума при минимальном искажении целевой речи.

система совместного улучшения речи и автоматического распознавания речи, обрабатывающая зашумлённые речевые сигналы

динамическое сквозное объединение улучшенных и исходных зашумлённых речевых признаков для повышения качества и разборчивости речи, подавления шума и устойчивости распознавания речи

Publication Details
Publication Date
2025-07-01
Journal
Publisher
ISSN
Cited by
11
Access Type
Author Information
Authors
Sami Bourouis
Hela Elmannai
Nasir Saleem
Mohamed Medani
Fethi Fkih
Manal Abdullah Alohali
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%