Почему самоконтролируемое обучение для распознавания речи способствует распознаванию говорящего?

В последнее время самоконтролируемое обучение (SSL) продемонстрировало высокую эффективность в распознавании говорящего, даже если целевая функция предварительного обучения разработана для распознавания речи. В этой работе мы исследуем, какие факторы обусловливают успешность самоконтролируемого обучения в задачах, связанных с распознаванием говорящего, таких как верификация говорящего (SV), посредством серии тщательно разработанных экспериментов. Результаты экспериментов на наборе данных VoxCeleb-1 показывают, что преимущество SSL для задачи SV обусловлено сочетанием функции потерь при предсказании замаскированной речи, масштаба данных и размера модели, тогда как квантователь SSL оказывает незначительное влияние. Кроме того, мы применяем метод атрибуции на основе интегрированных градиентов и визуализацию ландшафта функции потерь, чтобы понять эффективность самоконтролируемого обучения для повышения качества распознавания говорящего.