Снижение размерности данных с помощью нейронных сетей
Reducing the Dimensionality of Data with Neural Networks
2006-07-27
SCID: 54.1/3q9byxxu
Discuss with AI
автоэнкодерснижение размерностимногослойная нейронная сетьметод главных компонент (PCA)инициализация весов
Figures from the paper
Abstract (AI)
Данные высокой размерности могут быть преобразованы в низкоразмерные коды путем обучения многослойной нейронной сети с небольшой центральной прослойкой, восстанавливающей входные векторы высокой размерности. Градиентный спуск может использоваться для тонкой настройки весов в таких сетях-«автокодировщиках», но это эффективно только если начальные веса близки к хорошему решению. Мы описываем эффективный способ инициализации весов, который позволяет глубоким автокодировщикам обучаться низкоразмерным кодам, работающим значительно лучше, чем метод главных компонент при задаче уменьшения размерности данных.
Key Findings
1
Описан эффективный метод инициализации весов, позволяющий глубоким автоэнкодерам изучать полезные низкоразмерные коды.
2
Коды, изученные глубоким автоэнкодером, по абстракту превосходят метод главных компонент для задачи уменьшения размерности.
3
Тонкая настройка весов автоэнкодера методом градиентного спуска эффективна только при начальных весах, близких к хорошему решению.
4
Многослойные нейронные сети с небольшим центральным слоем могут преобразовывать высокоразмерные данные в низкоразмерные коды путём восстановления входов.
Research Object
Глубокая автоэнкодерная нейронная сеть, обучаемая восстанавливать высокоразмерные входные векторы с небольшой центральной (бутылочной) скрытой прослойкой
Research Subject
Обучение низкоразмерных кодов (снижение размерности) с помощью эффективной инициализации весов и донастройки градиентным спуском для получения представлений, превосходящих метод главных компонент
Publication Details
Publication Date
2006-07-27
Journal
Publisher
ISSN
Cited by
20937
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai1
Работы, цитирующие эту статью20
Adam: метод стохастической оптимизации2014
Непарный перенос изображений с помощью циклически согласованных состязательных сетей2017
Преобразование изображений в изображения с помощью условных состязательных сетей2017
Обучение представлений: обзор и новые перспективы2013
Глубокие нейронные сети для акустического моделирования в распознавании речи: общее мнение четырёх исследовательских групп2012
Машинное обучение: тенденции, перспективы и прогнозы2015
Улучшение нейронных сетей путем предотвращения соадаптации детекторов признаков2012
Что же дальше? Предсказывающий мозг, ситуированные агенты и будущее когнитивной науки2013
Обнаружение объектов с помощью глубокого обучения: обзор2019
Генеративные состязательные сети с методом наименьших квадратов2017
Глубокое обучение в анализе медицинских изображений2017
Глубокое обучение для компьютерного зрения: краткий обзор2018
Глубокое обучение для обнаружения аномалий2021
Глубокое обучение в здравоохранении: обзор, возможности и проблемы2017
Извлечение глубоких признаков и классификация гиперспектральных изображений на основе сверточных нейронных сетей2016
Приложения и проблемы глубокого обучения в аналитике больших данных2015
Глубокое обучение для универсального обнаружения объектов: обзор2019
Последние достижения и применения машинного обучения в физике и материаловедении твёрдого тела2019
Сверточные глубокие сети убеждений для масштабируемого обучения без учителя иерархических представлений2009
Глубокие сверточные нейронные сети для классификации гиперспектральных изображений2015