Обучение представлений с помощью контрастивного предиктивного кодирования

Хотя обучение с учителем обеспечило значительный прогресс во многих приложениях, обучение без учителя не получило столь широкого распространения и по-прежнему остается важной и сложной задачей для искусственного интеллекта. В данной работе мы предлагаем универсальный подход к обучению без учителя для извлечения информативных представлений из многомерных данных, который называем контрастивным предиктивным кодированием. Ключевая идея нашей модели заключается в обучении таких представлений посредством предсказания будущего в латентном пространстве с использованием мощных авторегрессионных моделей. Мы применяем вероятностную контрастивную функцию потерь, которая побуждает латентное пространство захватывать информацию, максимально полезную для предсказания будущих выборок. Кроме того, благодаря использованию негативного семплирования модель становится вычислительно осуществимой. В то время как большинство предшествующих работ было сосредоточено на оценке представлений для отдельной модальности, мы демонстрируем, что наш подход способен обучать информативные представления и обеспечивать высокую эффективность в четырех различных областях: речь, изображения, текст и обучение с подкреплением в трехмерных средах.