Самообучаемое распознавание говорящих с обучением с управлением по функции потерь

В самообучении для распознавания говорящих псевдометки используются в качестве сигналов обучения. Однако модель распознавания говорящих не всегда получает преимущества от псевдометок из-за их ненадёжности. В данной работе мы наблюдаем, что сеть распознавания говорящих, как правило, быстрее моделирует данные с надёжными метками, чем данные с ненадёжными метками. Это побуждает нас исследовать стратегию обучения с управлением по функции потерь (loss-gated learning, LGL), которая извлекает надёжные метки, используя способность нейронной сети к аппроксимации в процессе обучения. С применением предложенного метода LGL наша модель распознавания говорящих демонстрирует прирост качества на 46,3% по сравнению с системой без LGL. Кроме того, предложенная система самообучаемого распознавания говорящих с LGL, обученная на наборе данных VoxCeleb2 без каких-либо меток, достигает равной частоты ошибок 1,66% на исходном тестовом наборе VoxCeleb1. Код доступен по адресу: https://github.com/TaoRuijie/Loss-Gated-Learning.