HuBERT: самообучение представлений речи посредством маскированного предсказания скрытых единиц
HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units
2021-01-01
SCID: 54.1/pvtmmb5h
Discuss with AI
HuBERTскрытые единицыкластеризация k-среднихпредсказание замаскированных участковсамообучаемое обучение речевых представлений
Figures from the paper
Abstract (AI)
Методы самообучения для получения представлений речи сталкиваются с тремя специфическими проблемами: (1) каждое входное высказывание содержит несколько звуковых единиц; (2) на этапе предварительного обучения отсутствует лексикон входных звуковых единиц; и (3) звуковые единицы имеют переменную длительность и не сопровождаются явной сегментацией. Для решения этих проблем мы предлагаем подход Hidden-Unit BERT (HuBERT) к самообучению представлений речи, использующий этап автономной кластеризации для формирования выровненных целевых меток при вычислении функции потерь, аналогичной функции потерь BERT. Ключевой особенностью нашего подхода является применение функции потерь предсказания только к замаскированным областям, что заставляет модель обучаться совместной акустической и языковой модели на непрерывных входных данных. HuBERT в первую очередь опирается на согласованность этапа неконтролируемой кластеризации, а не на внутреннее качество присвоенных кластерных меток. Начиная с простого учителя k-means со 100 кластерами и используя две итерации кластеризации, модель HuBERT достигает результатов, сопоставимых с передовыми результатами wav2vec 2.0 или превосходит их на наборах тестов LibriSpeech (960 ч) и Libri-light (60 000 ч) при дообучении на подмножествах длительностью 10 мин, 1 ч, 10 ч, 100 ч и 960 ч. Модель с 1 млрд параметров обеспечивает относительное снижение частоты ошибок распознавания речи (WER) до 19% и 13% соответственно на более сложных подмножествах оценки dev-other и test-other.
Key Findings
1
Модель HuBERT с 1 млрд параметров обеспечивает относительное снижение WER до 19% на dev-other и до 13% на test-other.
2
Применение функции потерь только к замаскированным участкам способствует обучению объединённой акустической и языковой модели на непрерывных речевых входах.
3
HuBERT решает проблемы множественных звуковых единиц, отсутствия лексикона на этапе предобучения и переменной длины единиц с помощью офлайн-кластеризации для создания выровненных целей masked prediction.
4
HuBERT в основном опирается на согласованность кластерных назначений без учёта внутреннего качества меток кластеров.
5
При использовании k-means-учителя со 100 кластерами и двух итераций кластеризации HuBERT достигает или превосходит результаты wav2vec 2.0 на Librispeech и Libri-light при разных объёмах данных для дообучения.
Research Object
речевые представления, обучаемые на неразмеченных непрерывных речевых входных данных
Research Subject
характеристики обучения представлений методом предсказания замаскированных участков и их эффективность в распознавании, включая акустико-языковое моделирование и WER
Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Cited by
3001
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Работы, цитирующие эту статью7
WavLM: крупномасштабное самосупервизорное предварительное обучение для комплексной обработки речи2022
MM-LLMs: последние достижения в области мультимодальных больших языковых моделей2024
Обучение речевых представлений с самоконтролем: обзор2022
Обзор мультиагентных систем на основе больших языковых моделей: рабочий процесс, инфраструктура и проблемы2024
Нормализация говорящего для самоконтролируемого распознавания эмоций в речи2022
Почему самоконтролируемое обучение для распознавания речи способствует распознаванию говорящего?2022
Адаптация моделей самоконтролируемого обучения для распознавания речи нескольких говорящих с использованием эмбеддингов говорящих2023