Полная сквозная система верификации говорящего на основе глубоких нейронных сетей: от исходных сигналов до результата верификации

Сквозные системы на основе глубоких нейронных сетей широко исследуются в области верификации говорящего. Обработка исходных аудиосигналов также получила широкое распространение в задачах автоматической категоризации музыки и распознавания речи. Однако, насколько нам известно, сквозные системы, использующие исходные аудиосигналы, ранее не исследовались применительно к верификации говорящего. В данной работе предложена полная сквозная система верификации говорящего, которая принимает на вход исходные аудиосигналы и выдает результаты верификации. Основное внимание уделено слою предварительной обработки и моделям выделения признаков говорящего, интегрированным в систему. Предложенный слой предварительного усиления объединен со сверточным слоем с шагом для предварительной обработки в первых двух скрытых слоях. Кроме того, предложены модели выделения признаков говорящего на основе сверточных слоев и долговременной краткосрочной памяти (LSTM) для встраивания в предлагаемую сквозную систему.