Обучение представлений: обзор и новые перспективы

Representation Learning: A Review and New Perspectives
Yoshua Bengio, P. M. Durai Raj Vincent, Aaron C. Courville, Pascal Vincent, P. Vincent
2013-05-31

автоэнкодерыглубокое обучениеобучение многообразияобучение представленийобучение признаков без учителя
Успех алгоритмов машинного обучения в целом зависит от представления данных, и мы выдвигаем гипотезу, что это связано с тем, что разные представления могут в той или иной степени переплетать и скрывать различные объясняющие факторы вариации, лежащие в основе данных. Хотя специфические знания предметной области могут использоваться для проектирования представлений, возможно также обучение с общими априорными предположениями, и стремление к развитию искусственного интеллекта стимулирует разработку более мощных алгоритмов обучения представлений, реализующих такие априоры. В статье рассматриваются недавние работы в области обучения признаков без учителя и глубокого обучения, охватывающие достижения в вероятностных моделях, автокодировщиках, изучении многообразий и глубоких сетях. Это побуждает к постановке долгосрочных невыясненных вопросов о подходящих целевых функциях для обучения хороших представлений, об алгоритмах вычисления представлений (т. е. выводе) и о геометрических связях между обучением представлений, оценкой плотности и изучением многообразий.
1
Качество представления данных существенно влияет на успех машинного обучения, поскольку представления могут запутывать или выявлять объясняющие факторы вариации.
2
Знание предметной области может помочь в проектировании представлений, но обучение с общими априорными предположениями также является жизнеспособной альтернативой.
3
Недавние достижения в области обучения признаков без учителя и глубокого обучения включают прогресс в вероятностных моделях, автокодировщиках, изучении многообразий и глубоких сетях.
4
Существуют важные геометрические связи между обучением представлений, оценкой плотности и изучением многообразий, требующие дальнейших исследований.
5
Остаются открытые вопросы о подходящих целевых функциях для обучения хороших представлений и методах вывода (инференса) для их вычисления.

Представления данных, выученные алгоритмами машинного обучения

Принципы, целевые функции, методы вывода и геометрические связи для обучения качественных представлений (включая обучение неконтролируемых признаков, вероятностные модели, автоэнкодеры, обучение на многообразиях и глубокие сети)

Publication Details
Publication Date
2013-05-31
Journal
Publisher
ISSN
Cited by
17143
Access Type
Author Information
Authors
Yoshua Bengio
P. M. Durai Raj Vincent
Aaron C. Courville
Pascal Vincent
P. Vincent
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%