Обучение представлений с помощью контрастивного предиктивного кодирования
Representation Learning with Contrastive Predictive Coding
2018-07-10
SCID: 54.1/af5k2gjr
Discuss with AI
контрастивное предиктивное кодированиеавторегрессионные моделинегативное семплированиевероятностная контрастивная функция потерьобучение представлений без учителя
Figures from the paper
Abstract (AI)
Хотя обучение с учителем обеспечило значительный прогресс во многих приложениях, обучение без учителя не получило столь широкого распространения и по-прежнему остается важной и сложной задачей для искусственного интеллекта. В данной работе мы предлагаем универсальный подход к обучению без учителя для извлечения информативных представлений из многомерных данных, который называем контрастивным предиктивным кодированием. Ключевая идея нашей модели заключается в обучении таких представлений посредством предсказания будущего в латентном пространстве с использованием мощных авторегрессионных моделей. Мы применяем вероятностную контрастивную функцию потерь, которая побуждает латентное пространство захватывать информацию, максимально полезную для предсказания будущих выборок. Кроме того, благодаря использованию негативного семплирования модель становится вычислительно осуществимой. В то время как большинство предшествующих работ было сосредоточено на оценке представлений для отдельной модальности, мы демонстрируем, что наш подход способен обучать информативные представления и обеспечивать высокую эффективность в четырех различных областях: речь, изображения, текст и обучение с подкреплением в трехмерных средах.
Key Findings
1
Вероятностная контрастивная функция потерь побуждает представления сохранять информацию, максимально полезную для предсказания будущих выборок, обеспечивая вычислимость благодаря отрицательному семплированию.
2
Предложен Contrastive Predictive Coding — универсальный метод обучения полезным представлениям из данных высокой размерности без учителя.
3
Метод демонстрирует высокую эффективность обучения представлениям в четырёх областях: речи, изображениях, тексте и обучении с подкреплением в трёхмерных средах.
4
Метод предсказывает будущие наблюдения в латентном пространстве с помощью мощных авторегрессионных моделей, а не непосредственно в исходном пространстве данных.
Research Object
Представления, получаемые с помощью контрастивного предиктивного кодирования из многомерных данных в областях речи, изображений, текста и сред 3D-обучения с подкреплением
Research Subject
Обучение полезных латентных представлений посредством предсказания будущих выборок с помощью авторегрессионных моделей и вероятностной контрастивной функции потерь
Publication Details
Publication Date
2018-07-10
Journal
Publisher
ISSN
Cited by
14624
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Adam: метод стохастической оптимизации2014
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
Обучение «последовательность-в-последовательность» с помощью нейронных сетей2014
FaceNet: Унифицированное встраивание для распознавания и кластеризации лиц2015
Глубокие нейронные сети для акустического моделирования в распознавании речи: общее мнение четырёх исследовательских групп2012
Обучение представлений фраз с использованием RNN Encoder–Decoder для статистического машинного перевода2014
Инструментарий распознавания речи Kaldi2024
Работы, цитирующие эту статью15
HuBERT: самообучение представлений речи посредством маскированного предсказания скрытых единиц2021
О возможностях и рисках фундаментальных моделей2021
WavLM: крупномасштабное самосупервизорное предварительное обучение для комплексной обработки речи2022
Эмпирическое исследование обучения самоконтролируемых Vision Transformer2021
К стремлению к обучению причинных представлений2021
Обучение речевых представлений с самоконтролем: обзор2022
ETC: Кодирование длинных и структурированных входных данных в трансформерах2020
TERA: самообучение представлению, получаемому кодировщиком-трансформером, для речи2021
SSAST: аудиоспектрограммный трансформер с самоконтролируемым обучением2022
Комплексный обзор глубокого обучения для прогнозирования временных рядов: архитектурное разнообразие и нерешённые проблемы2025
Модель «зрение‑язык» для генерации медицинских отчётов и визуального ответа на вопросы: обзор2024
3D Infomax улучшает GNN для предсказания свойств молекул2021
Нормализация говорящего для самоконтролируемого распознавания эмоций в речи2022
Бенчмаркинговая оценка, приложения и проблемы больших зрительно-языковых моделей: обзор2025
SeDR: обучение представлений сегментов для плотного поиска по длинным документам2022