Сквозное слияние признаков для совместной оптимизации улучшения речи и автоматического распознавания речи
End-to-end feature fusion for jointly optimized speech enhancement and automatic speech recognition
2025-07-01
SCID: 54.1/8xymee8k
Discuss with AI
сеть слияния на основе GRUавтоматическое распознавание речикаузальное вниманиединамическое слияние признаковулучшение речи
Figures from the paper
Abstract (AI)
Улучшение речи (SE) и автоматическое распознавание речи (ASR) в системах реального времени предполагают оперативное повышение качества и разборчивости речевых сигналов, обеспечивая точную транскрипцию по мере поступления речи. SE устраняет нежелательный фоновый шум из целевого речевого сигнала в условиях высокого уровня фонового шума, что имеет решающее значение для ASR в реальном времени. В данной работе сначала предлагается сеть улучшения речи на основе модели с вниманием и кодеком. Ее основная цель заключается в подавлении шума в целевой речи при минимальных искажениях. Однако чрезмерное подавление шума в улучшенной речи может снизить эффективность последующих систем ASR вследствие потери важной скрытой информации. Хотя совместные методы SE и ASR продемонстрировали перспективность для построения устойчивых сквозных систем ASR, традиционно они используют улучшенные признаки в качестве входных данных для систем ASR. Для устранения этого ограничения в работе применяется подход динамического слияния. Он объединяет улучшенные признаки и исходные признаки зашумленной речи, стремясь удалить шумовые компоненты из улучшенной целевой речи и одновременно извлечь тонкие детали из зашумленных сигналов. Такой подход к слиянию направлен на уменьшение искажений речи и повышение общей эффективности системы ASR. Предлагаемая модель состоит из кодека с механизмом внимания и причинным вниманием для SE, сети слияния на основе GRU и системы ASR. В сети SE используется модифицированный управляемый рекуррентный блок (Gated Recurrent Unit, GRU), в котором традиционная гиперболическая тангенсная функция (tanh) заменена на основанный на внимании выпрямленный линейный блок (attention-based Rectified Linear Unit, AReLU). Эксперименты по SE стабильно демонстрируют более высокое качество и разборчивость речи, а также более эффективное подавление шума по сравнению с базовыми методами в согласованных и несогласованных условиях. На базе данных LibriSpeech предложенная система SE достигает лучших показателей STOI (19,81%) и PESQ (28,97%) в согласованных условиях, а также в несогласованных условиях (STOI: 17,27% и PESQ: 27,51%). Совместная схема обучения для устойчивого сквозного ASR e...
Key Findings
1
Динамическое слияние объединяет улучшенные и исходные зашумлённые признаки, сохраняя тонкую информацию, которая может теряться при чрезмерном подавлении шума.
2
По сравнению с базовыми методами предложенная система стабильно повышает качество и разборчивость речи, а также подавление шума в согласованных и несогласованных условиях; прирост STOI составил 19,81% и 17,27%, а PESQ — 28,97% и 27,51% соответственно.
3
Замена tanh на AReLU с механизмом внимания в модифицированном GRU улучшает моделирование значимых признаков в архитектуре улучшения речи.
4
Совместная модель объединяет улучшение речи с каузальным вниманием, сеть слияния на основе GRU и сквозную систему распознавания речи.
5
В работе предложена сеть улучшения речи на основе модели с внимательным кодеком, предназначенная для подавления шума при минимальном искажении целевой речи.
Research Object
система совместного улучшения речи и автоматического распознавания речи, обрабатывающая зашумлённые речевые сигналы
Research Subject
динамическое сквозное объединение улучшенных и исходных зашумлённых речевых признаков для повышения качества и разборчивости речи, подавления шума и устойчивости распознавания речи
Publication Details
Publication Date
2025-07-01
Journal
Publisher
ISSN
Cited by
11
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest