Самостоятельно контролируемое распознавание говорящих с обучением, управляемым функцией потерь

В самостоятельном обучении для распознавания говорящих псевдометки используются в качестве сигналов обучения. Однако модель распознавания говорящих не всегда получает преимущества от псевдометок из-за их ненадёжности. В данной работе мы наблюдаем, что сеть распознавания говорящих стремится быстрее моделировать данные с надёжными метками, чем данные с ненадёжными метками. Это наблюдение побудило нас исследовать стратегию обучения, управляемого функцией потерь (loss-gated learning, LGL), которая извлекает надёжные метки на основе способности нейронной сети к аппроксимации данных в процессе обучения. С использованием предложенного метода LGL наша модель распознавания говорящих обеспечивает прирост качества на 46,3% по сравнению с системой без LGL. Кроме того, предложенная система самостоятельного распознавания говорящих с LGL, обученная на наборе данных VoxCeleb2 без каких-либо меток, достигает равной частоты ошибок 1,66% на исходном тестовом наборе VoxCeleb1.