HuBERT: самообучение представлений речи посредством маскированного предсказания скрытых единиц

HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units
Ruslan Salakhutdinov, Abdelrahman Mohamed, Wei-Ning Hsu, Yao-Hung Hubert Tsai, Kushal Lakhotia, Benjamin Bolte
2021-01-01

HuBERTскрытые единицыкластеризация k-среднихпредсказание замаскированных участковсамообучаемое обучение речевых представлений
Методы самообучения для получения представлений речи сталкиваются с тремя специфическими проблемами: (1) каждое входное высказывание содержит несколько звуковых единиц; (2) на этапе предварительного обучения отсутствует лексикон входных звуковых единиц; и (3) звуковые единицы имеют переменную длительность и не сопровождаются явной сегментацией. Для решения этих проблем мы предлагаем подход Hidden-Unit BERT (HuBERT) к самообучению представлений речи, использующий этап автономной кластеризации для формирования выровненных целевых меток при вычислении функции потерь, аналогичной функции потерь BERT. Ключевой особенностью нашего подхода является применение функции потерь предсказания только к замаскированным областям, что заставляет модель обучаться совместной акустической и языковой модели на непрерывных входных данных. HuBERT в первую очередь опирается на согласованность этапа неконтролируемой кластеризации, а не на внутреннее качество присвоенных кластерных меток. Начиная с простого учителя k-means со 100 кластерами и используя две итерации кластеризации, модель HuBERT достигает результатов, сопоставимых с передовыми результатами wav2vec 2.0 или превосходит их на наборах тестов LibriSpeech (960 ч) и Libri-light (60 000 ч) при дообучении на подмножествах длительностью 10 мин, 1 ч, 10 ч, 100 ч и 960 ч. Модель с 1 млрд параметров обеспечивает относительное снижение частоты ошибок распознавания речи (WER) до 19% и 13% соответственно на более сложных подмножествах оценки dev-other и test-other.
1
Модель HuBERT с 1 млрд параметров обеспечивает относительное снижение WER до 19% на dev-other и до 13% на test-other.
2
Применение функции потерь только к замаскированным участкам способствует обучению объединённой акустической и языковой модели на непрерывных речевых входах.
3
HuBERT решает проблемы множественных звуковых единиц, отсутствия лексикона на этапе предобучения и переменной длины единиц с помощью офлайн-кластеризации для создания выровненных целей masked prediction.
4
HuBERT в основном опирается на согласованность кластерных назначений без учёта внутреннего качества меток кластеров.
5
При использовании k-means-учителя со 100 кластерами и двух итераций кластеризации HuBERT достигает или превосходит результаты wav2vec 2.0 на Librispeech и Libri-light при разных объёмах данных для дообучения.

речевые представления, обучаемые на неразмеченных непрерывных речевых входных данных

характеристики обучения представлений методом предсказания замаскированных участков и их эффективность в распознавании, включая акустико-языковое моделирование и WER

Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Cited by
3001
Access Type
Author Information
Authors
Ruslan Salakhutdinov
Abdelrahman Mohamed
Wei-Ning Hsu
Yao-Hung Hubert Tsai
Kushal Lakhotia
Benjamin Bolte
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%