Адаптация моделей самоконтролируемого обучения для распознавания речи нескольких говорящих с использованием эмбеддингов говорящих

Методы самоконтролируемого обучения (SSL), которые обучаются представлениям данных без явного надзора, приобрели популярность в задачах обработки речи, особенно для приложений с одним говорящим. Однако в сценариях с несколькими говорящими такие модели часто демонстрируют снижение производительности, возможно, из-за несоответствия доменов, что существенно ограничивает их применение в подобных задачах. В данной работе исследуется адаптация исходных моделей SSL к задаче автоматического распознавания речи (ASR) нескольких говорящих в двух условиях. Во-первых, когда предоставляются сегментированные высказывания, показано, что добавление модуля выделения целевого говорящего (TSE), основанного на эмбеддингах регистрации, дополняет предобучение с учетом смеси. Во-вторых, для несегментированных смесей предложен новый подход совместного моделирования говорящих (JSM), агрегирующий информацию обо всех говорящих в смеси посредством их эмбеддингов. В контролируемых экспериментах на Libri2Mix показано, что использование эмбеддингов говорящих обеспечивает относительное улучшение показателя частоты ошибок в словах (WER) на 9,1% и 42,1% по сравнению с сильными базовыми методами для сегментированного и несегментированного случаев соответственно. Кроме того, эффективность предложенных моделей для реальных разговорных смесей продемонстрирована в экспериментах на наборе данных AMI. Исходный код и модели опубликованы в открытом доступе по адресу https://github.com/HuangZiliAndy/SSL_for_multitalker.