Обучение представлений: обзор и новые перспективы

Успех алгоритмов машинного обучения в целом зависит от представления данных, и мы выдвигаем гипотезу, что это связано с тем, что разные представления могут в той или иной степени переплетать и скрывать различные объясняющие факторы вариации, лежащие в основе данных. Хотя специфические знания предметной области могут использоваться для проектирования представлений, возможно также обучение с общими априорными предположениями, и стремление к развитию искусственного интеллекта стимулирует разработку более мощных алгоритмов обучения представлений, реализующих такие априоры. В статье рассматриваются недавние работы в области обучения признаков без учителя и глубокого обучения, охватывающие достижения в вероятностных моделях, автокодировщиках, изучении многообразий и глубоких сетях. Это побуждает к постановке долгосрочных невыясненных вопросов о подходящих целевых функциях для обучения хороших представлений, об алгоритмах вычисления представлений (т. е. выводе) и о геометрических связях между обучением представлений, оценкой плотности и изучением многообразий.