Обучение речевых представлений с самоконтролем: обзор
Self-Supervised Speech Representation Learning: A Review
2022-09-15
SCID: 54.1/zvuczv9w
Discuss with AI
автоматическое распознавание речиконтрастивное обучениегенеративные методыпредиктивные методысамообучаемое обучение представлений речи
Figures from the paper
Abstract (AI)
Хотя глубокое обучение с учителем произвело революцию в обработке речи и аудиосигналов, оно потребовало разработки специализированных моделей для отдельных задач и сценариев применения. Аналогичным образом, этот подход трудно применять к диалектам и языкам, для которых доступен лишь ограниченный объем размеченных данных. Методы обучения представлений с самоконтролем предполагают создание единой универсальной модели, способной приносить пользу в широком спектре задач и предметных областей. Такие методы успешно применяются в обработке естественного языка и компьютерном зрении, обеспечивая новый уровень производительности и одновременно сокращая количество меток, необходимых для многих последующих сценариев применения. В обучении речевых представлений также наблюдается прогресс по трем основным направлениям: генеративные, контрастивные и предиктивные методы. Другие подходы используют мультимодальные данные для предварительного обучения, объединяя текстовые или визуальные потоки данных с речью. Хотя обучение речевых представлений с самоконтролем все еще является молодой областью исследований, оно тесно связано с акустическим встраиванием слов и обучением без лексических ресурсов; оба этих направления активно исследуются уже много лет. В данном обзоре рассматриваются подходы к обучению речевых представлений с самоконтролем и их связи с другими областями исследований. Поскольку многие современные методы сосредоточены исключительно на автоматическом распознавании речи как последующей задаче, мы рассматриваем недавние работы по бенчмаркингу изученных представлений с целью расширения области их применения за пределы распознавания речи.
Key Findings
1
Поскольку многие методы оцениваются главным образом на задаче автоматического распознавания речи, новые исследования проверяют их применимость к более широкому спектру задач.
2
Современные подходы в основном относятся к генеративным, контрастивным и предиктивным методам; некоторые используют мультимодальное предварительное обучение на речевых, текстовых и визуальных данных.
3
Самообучаемое обучение речевых представлений направлено на создание универсальных моделей для различных речевых задач и областей.
4
Самообучаемое обучение речевых представлений связано с исследованиями акустических вложений слов и обучения без лексических ресурсов.
5
Эти методы могут снизить зависимость от размеченных данных, что особенно важно для малоресурсных языков и диалектов.
Research Object
самосупервизируемые речевые представления и методы их обучения
Research Subject
подходы, категории, межмодальные связи и обобщение на последующие задачи самосупервизируемого обучения речевых представлений
Publication Details
Publication Date
2022-09-15
Journal
Publisher
ISSN
Cited by
656
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai16
PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью2019
Снижение размерности данных с помощью нейронных сетей2006
Обучение представлений: обзор и новые перспективы2013
Обучение представлений с помощью контрастивного предиктивного кодирования2018
Глубокие нейронные сети для акустического моделирования в распознавании речи: общее мнение четырёх исследовательских групп2012
Машинное обучение: тенденции, перспективы и прогнозы2015
Появляющиеся свойства самоконтролируемых Vision Transformer2021
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Факторный анализ на переднем конце для верификации диктора2010
HuBERT: самообучение представлений речи посредством маскированного предсказания скрытых единиц2021
О возможностях и рисках фундаментальных моделей2021
VoxCeleb: крупномасштабный набор данных для идентификации говорящих2017
WavLM: крупномасштабное самосупервизорное предварительное обучение для комплексной обработки речи2022
Эффективные трансформеры: обзор2022
TERA: самообучение представлению, получаемому кодировщиком-трансформером, для речи2021
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022