Устойчивое распознавание диктора на основе одно- и многоканального улучшения речи

В последние годы большой интерес вызывают эмбеддинги глубоких нейронных сетей (DNN) для распознавания диктора. По сравнению с i-векторами они более устойчивы к шуму и реверберации помещения, поскольку DNN используют крупномасштабное обучение. В статье рассматривается вопрос о том, сохраняют ли методы улучшения речи свою полезность при использовании эмбеддингов DNN для распознавания диктора. Исследуются одно- и многоканальное улучшение речи для текстонезависимой верификации диктора на основе x-векторов в условиях одновременного присутствия сильного диффузного шума и реверберации. Одноканальное (монофоническое) улучшение речи основано на комплексном спектральном отображении и применяется к сигналам отдельных микрофонов. Для многоканального улучшения речи используются минимально-дисперсионный формирователь диаграммы направленности с минимальными искажениями отклика (MVDR), основанный на маскировании, и его приближение ранга 1. Предложен новый метод получения масок «время–частота» из оцененной комплексной спектрограммы. Кроме того, исследуются кепстральные коэффициенты на основе гамматонной шкалы частот (GFCC) как устойчивые признаки диктора. Систематические оценки и сравнения на ретранслированном корпусе NIST SRE 2010 показывают, что как монофоническое, так и многоканальное улучшение речи значительно превосходят результаты системы на основе x-векторов, а предложенная оценка ковариационной матрицы эффективна для MVDR-формирователя.