WavLM: крупномасштабное самосупервизорное предварительное обучение для комплексной обработки речи

Самосупервизорное обучение (SSL) достигло значительных успехов в распознавании речи, однако его применение к другим задачам обработки речи изучено лишь в ограниченной степени. Поскольку речевые сигналы содержат многогранную информацию, включая идентичность говорящего, паралингвистическую информацию и содержание высказывания, обучение универсальных представлений для всех речевых задач представляет собой сложную проблему. Для ее решения мы предлагаем новую предварительно обученную модель WavLM для выполнения широкого спектра последующих задач обработки речи. На этапе предварительного обучения WavLM совместно осваивает предсказание замаскированной речи и подавление шума. Благодаря этому WavLM не только сохраняет способность моделировать содержание речи посредством предсказания замаскированной речи, но и расширяет потенциал для задач, не связанных с автоматическим распознаванием речи (ASR), за счет подавления шума в речевом сигнале. Кроме того, в архитектуре Transformer WavLM использует управляемое относительное позиционное смещение, что позволяет лучше учитывать последовательный порядок входной речи. Мы также увеличили объем обучающего набора данных с 60 тыс. часов до 94 тыс. часов. Модель WavLM Large достигает передовых результатов на бенчмарке SUPERB и обеспечивает существенное улучшение качества для различных задач обработки речи на соответствующих репрезентативных бенчмарках.