X-векторы: устойчивые DNN-эмбеддинги для распознавания говорящего

В этой статье мы используем аугментацию данных для повышения эффективности эмбеддингов глубоких нейронных сетей (DNN) в задачах распознавания говорящего. DNN, обученная различать говорящих, отображает речевые высказывания переменной длины в эмбеддинги фиксированной размерности, которые мы называем x-векторами. Предыдущие исследования показали, что эмбеддинги эффективнее используют крупномасштабные обучающие наборы данных, чем i-векторы. Однако сбор значительного объема размеченных данных для обучения может быть затруднительным. Мы применяем аугментацию данных, включающую добавление шума и реверберации, как недорогой способ увеличить объем обучающих данных и повысить устойчивость системы. X-векторы сравниваются с базовыми системами на основе i-векторов на наборах данных Speakers in the Wild и NIST SRE 2016 Cantonese. Мы обнаружили, что, хотя аугментация полезна для классификатора PLDA, она не помогает экстрактору i-векторов. В то же время DNN для получения x-векторов эффективно использует аугментацию данных благодаря обучению с учителем. В результате x-векторы обеспечивают более высокую эффективность на наборах данных для оценки.