Сверточные глубокие сети убеждений для масштабируемого обучения без учителя иерархических представлений

В последнее время проявляется большой интерес к обучению без учителя иерархических генеративных моделей, таких как глубокие сети убеждений. Масштабирование таких моделей до изображений полного размера и высокой размерности по-прежнему представляет собой сложную задачу. Для решения этой проблемы мы предлагаем сверточную глубокую сеть убеждений — иерархическую генеративную модель, масштабируемую до реалистичных размеров изображений. Эта модель инвариантна к сдвигам и поддерживает эффективное вероятностное инференирование как снизу вверх, так и сверху вниз. Ключевым в нашем подходе является probabilistic max-pooling (вероятностный max-pooling) — новая техника, которая сокращает представления в высших слоях корректным с точки зрения теории вероятностей способом. Наши эксперименты показывают, что алгоритм извлекает полезные высокоуровневые визуальные признаки, такие как части объектов, из немаркированных изображений объектов и природных сцен. Мы демонстрируем отличные результаты в нескольких задачах визуального распознавания и показываем, что наша модель может выполнять иерархическое (снизу вверх и сверху вниз) инференирование по изображениям полного размера.