Сквозная верификация диктора по тексту с механизмом внимания

В данной статье представлен новый тип сквозной системы верификации диктора по тексту. Ранее использование фонетически дискриминативной/дикторски дискриминативной глубокой нейронной сети (DNN) в качестве экстрактора признаков для верификации диктора демонстрировало многообещающие результаты. Извлечённые признаки на уровне кадров (bottleneck-признаки, апостериорные признаки или d-векторы) имеют одинаковые веса и агрегируются для вычисления представления диктора на уровне высказывания (d-вектора или i-вектора). В данной работе для извлечения устойчивых к шуму признаков на уровне кадров используется свёрточная нейронная сеть (CNN), дискриминативная по отношению к диктору. Эти признаки адаптивно объединяются с помощью механизма внимания для формирования вектора диктора на уровне высказывания. Предложенная модель внимания использует информацию, дискриминативную по отношению к диктору, и фонетическую информацию для обучения весов. Вся система, включая CNN и модель внимания, совместно оптимизируется с использованием сквозного критерия. Алгоритм обучения в точности воспроизводит процесс оценки, напрямую отображая тестовое высказывание и несколько высказываний целевого диктора в единственную оценку верификации. Для обучения сети алгоритм может интеллектуально выбирать наиболее похожего самозванца для каждого целевого диктора. Эффективность предложенной сквозной системы продемонстрирована на задаче верификации диктора Windows 10 «Hey Cortana».ряд