RawNet: усовершенствованная сквозная глубокая нейронная сеть, использующая исходные речевые сигналы для текстонезависимой верификации говорящего

В последнее время прямое моделирование исходных речевых сигналов с помощью глубоких нейронных сетей широко исследуется для решения различных задач в области аудио. Однако верификация говорящего с использованием исходных речевых сигналов всё ещё находится на начальном этапе и требует дальнейшего изучения. В настоящем исследовании рассматриваются сквозные глубокие нейронные сети, принимающие на вход исходные речевые сигналы, с целью совершенствования различных компонентов, включая извлечение голосовых эмбеддингов на переднем конце, архитектуру модели, схемы предварительного обучения, дополнительные целевые функции и классификацию на заднем конце. Корректировка архитектуры модели с использованием схемы предварительного обучения позволяет извлекать голосовые эмбеддинги и обеспечивает существенное повышение производительности. Дополнительные целевые функции упрощают процесс извлечения голосовых эмбеддингов, объединяя два традиционных этапа: извлечение признаков на уровне высказывания, таких как i-векторы или x-векторы, и улучшение признаков, например с помощью линейного дискриминантного анализа. Также исследуются эффективные модели классификации на заднем конце, соответствующие предлагаемым голосовым эмбеддингам. Мы предлагаем сквозную систему, включающую две глубокие нейронные сети: одну — на переднем конце для извлечения голосовых эмбеддингов на уровне высказывания, а другую — на заднем конце для классификации. Эксперименты, проведённые на наборе данных VoxCeleb1, показывают, что предлагаемая модель достигает наилучших опубликованных результатов среди систем без аугментации данных. Предлагаемая система также сопоставима с современной системой на основе x-векторов, использующей аугментацию данных.