Снижение размерности данных с помощью нейронных сетей

Reducing the Dimensionality of Data with Neural Networks
Geoffrey E. Hinton, Ruslan Salakhutdinov
2006-07-27

автоэнкодерснижение размерностимногослойная нейронная сетьметод главных компонент (PCA)инициализация весов
Данные высокой размерности могут быть преобразованы в низкоразмерные коды путем обучения многослойной нейронной сети с небольшой центральной прослойкой, восстанавливающей входные векторы высокой размерности. Градиентный спуск может использоваться для тонкой настройки весов в таких сетях-«автокодировщиках», но это эффективно только если начальные веса близки к хорошему решению. Мы описываем эффективный способ инициализации весов, который позволяет глубоким автокодировщикам обучаться низкоразмерным кодам, работающим значительно лучше, чем метод главных компонент при задаче уменьшения размерности данных.
1
Описан эффективный метод инициализации весов, позволяющий глубоким автоэнкодерам изучать полезные низкоразмерные коды.
2
Коды, изученные глубоким автоэнкодером, по абстракту превосходят метод главных компонент для задачи уменьшения размерности.
3
Тонкая настройка весов автоэнкодера методом градиентного спуска эффективна только при начальных весах, близких к хорошему решению.
4
Многослойные нейронные сети с небольшим центральным слоем могут преобразовывать высокоразмерные данные в низкоразмерные коды путём восстановления входов.

Глубокая автоэнкодерная нейронная сеть, обучаемая восстанавливать высокоразмерные входные векторы с небольшой центральной (бутылочной) скрытой прослойкой

Обучение низкоразмерных кодов (снижение размерности) с помощью эффективной инициализации весов и донастройки градиентным спуском для получения представлений, превосходящих метод главных компонент

Publication Details
Publication Date
2006-07-27
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Geoffrey E. Hinton
Ruslan Salakhutdinov
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%