Deep Speaker: сквозная нейронная система построения эмбеддингов говорящих

Представлена Deep Speaker — нейронная система построения эмбеддингов говорящих, отображающая высказывания на гиперсферу, где сходство говорящих измеряется косинусным сходством. Эмбединги, генерируемые Deep Speaker, могут использоваться для решения различных задач, включая идентификацию говорящего, верификацию говорящего и кластеризацию. Для извлечения акустических признаков исследуются архитектуры ResCNN и GRU, после чего для получения эмбедингов говорящих на уровне высказывания применяется усреднение, а обучение выполняется с использованием триплетной функции потерь, основанной на косинусном сходстве. Эксперименты на трех различных наборах данных показывают, что Deep Speaker превосходит базовую систему i-vector на основе DNN. Например, на текстонезависимом наборе данных Deep Speaker снижает равную ошибку (equal error rate) при верификации на 50% (относительно) и повышает точность идентификации на 60% (относительно). Также представлены результаты, свидетельствующие о том, что адаптация модели, обученной на мандаринском китайском языке, может повысить точность распознавания англоязычных говорящих.