Снижение размерности данных с помощью нейронных сетей
Reducing the Dimensionality of Data with Neural Networks
2006-07-27
SCID: 54.1/3q9byxxu
Discuss with AI
автоэнкодерснижение размерностимногослойная нейронная сетьметод главных компонент (PCA)инициализация весов
Figures from the paper
Abstract (AI)
Данные высокой размерности могут быть преобразованы в низкоразмерные коды путем обучения многослойной нейронной сети с небольшой центральной прослойкой, восстанавливающей входные векторы высокой размерности. Градиентный спуск может использоваться для тонкой настройки весов в таких сетях-«автокодировщиках», но это эффективно только если начальные веса близки к хорошему решению. Мы описываем эффективный способ инициализации весов, который позволяет глубоким автокодировщикам обучаться низкоразмерным кодам, работающим значительно лучше, чем метод главных компонент при задаче уменьшения размерности данных.
Key Findings
1
Описан эффективный метод инициализации весов, позволяющий глубоким автоэнкодерам изучать полезные низкоразмерные коды.
2
Коды, изученные глубоким автоэнкодером, по абстракту превосходят метод главных компонент для задачи уменьшения размерности.
3
Тонкая настройка весов автоэнкодера методом градиентного спуска эффективна только при начальных весах, близких к хорошему решению.
4
Многослойные нейронные сети с небольшим центральным слоем могут преобразовывать высокоразмерные данные в низкоразмерные коды путём восстановления входов.
Research Object
Глубокая автоэнкодерная нейронная сеть, обучаемая восстанавливать высокоразмерные входные векторы с небольшой центральной (бутылочной) скрытой прослойкой
Research Subject
Обучение низкоразмерных кодов (снижение размерности) с помощью эффективной инициализации весов и донастройки градиентным спуском для получения представлений, превосходящих метод главных компонент
Publication Details
Publication Date
2006-07-27
Journal
Publisher
ISSN
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai1
Работы, цитирующие эту статью20
Искусственный интеллект: мощная парадигма для научных исследований2021
Унифицирующий обзор глубоких и поверхностных методов обнаружения аномалий2021
Современное состояние технологий обнаружения дефектов на основе машинного зрения2021
Глубокое обучение в оптической метрологии: обзор2022
Глубокое обучение для искусственного интеллекта2021
Глубокое обучение для обнаружения аномалий во временных рядах: обзор2024
Классификация гиперспектральных изображений — от традиционных методов к глубоким моделям: обзор и перспективы2021
Обзор вибрационных методов обнаружения повреждений в строительных конструкциях: от традиционных методов до приложений машинного и глубокого обучения2020
Цифровой двойник: ценности, проблемы и факторы обеспечения с точки зрения моделирования2020
Классификация сцен на изображениях дистанционного зондирования с использованием глубокого обучения: проблемы, методы, эталонные наборы данных и перспективы2020
Глубокое обучение для универсального обнаружения объектов: обзор2019
Последние достижения и применения машинного обучения в физике и материаловедении твёрдого тела2019
Обнаружение объектов с помощью глубокого обучения: обзор2019
Распознавание речи с использованием глубоких нейронных сетей: систематический обзор2019
Обзор алгоритмов и архитектур глубинного обучения2019
Глубокое обучение для компьютерного зрения: краткий обзор2018
Непарный перенос изображений с помощью циклически согласованных состязательных сетей2017
Генеративные состязательные сети с методом наименьших квадратов2017
Преобразование изображений в изображения с помощью условных состязательных сетей2017
Глубокое обучение в здравоохранении: обзор, возможности и проблемы2017