Улучшение нейронных сетей путем предотвращения соадаптации детекторов признаков
Improving neural networks by preventing co-adaptation of feature detectors
2012-07-03
SCID: 54.1/wmhtcehz
Discuss with AI
dropoutпрямые нейронные сетиснижение переобученияпредотвращение коадаптации детекторов признаковэталонные наборы для распознавания речи и объектов
Figures from the paper
Abstract (AI)
Когда большая прямолинейная (feedforward) нейронная сеть обучается на небольшом наборе данных, она, как правило, плохо работает на отложенных тестовых данных. Эта «переобученность» существенно уменьшается при случайном исключении половины детекторов признаков для каждого учебного примера. Это предотвращает сложные соадаптации, при которых детектор признака полезен лишь в контексте нескольких других специфических детекторов признаков. Вместо этого каждый нейрон учится обнаруживать признак, который в целом полезен для получения корректного ответа с учётом комбинаторно большого разнообразия внутренних контекстов, в которых он должен работать. Случайный «dropout» даёт существенные улучшения на многих эталонных задачах и устанавливает новые рекорды в распознавании речи и объектов.
Key Findings
1
Dropout предотвращает сложные соадаптации, когда детектор признака полезен только в сочетании с конкретными другими детекторами
2
Dropout обеспечивает большие улучшения на многих эталонных задачах и устанавливает новые рекорды в распознавании речи и объектов
3
Случайное отключение (dropout) половины детекторов признаков во время обучения значительно снижает переобучение больших прямых нейронных сетей на малых наборах данных
4
С помощью dropout каждый нейрон обучается признакам, которые широко полезны в различных внутренних контекстах, что улучшает обобщение
Research Object
Большая прямопроходная (feedforward) нейронная сеть, обучаемая на небольших наборах данных (с применением dropout к детекторам признаков)
Research Subject
Снижение переобучения за счёт предотвращения коадаптации детекторов признаков путём случайного исключения (dropout), что приводит к улучшению обобщающей способности и результативности на бенчмарках
Publication Details
Publication Date
2012-07-03
Journal
Publisher
ISSN
Cited by
8652
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai5
Работы, цитирующие эту статью20
Глубокое остаточное обучение для распознавания изображений2016
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Adam: метод стохастической оптимизации2014
Дистилляция знаний в нейронной сети2015
Сверточные нейронные сети для классификации предложений2014
Нелокальные нейронные сети2018
Обнаружение объектов с помощью глубокого обучения: обзор2019
Сверточные нейронные сети: обзор и применение в радиологии2018
Нейронные архитектуры для распознавания именованных сущностей2016
Извлечение глубоких признаков и классификация гиперспектральных изображений на основе сверточных нейронных сетей2016
Приложения и проблемы глубокого обучения в аналитике больших данных2015
Встраивание графа знаний: обзор подходов и приложений2017
Ускорение t-SNE с использованием алгоритмов на основе деревьев2014
Глубокое обучение для больших данных и потоковой аналитики Интернета вещей: обзор2018
Глубокое обучение в оптической метрологии: обзор2022
Глубокое обучение для искусственного интеллекта2021
Комплексное исследование кросс-видовой идентификации человека по походке с использованием глубоких сверточных нейронных сетей2016
Улучшение анализа тональности с помощью классификации типов предложений на основе BiLSTM-CRF и CNN2016
FS-Net: сеть последовательностей потоков для классификации зашифрованного трафика2019
Исследования в области машинного обучения и искусственного интеллекта на благо пациентов: 20 ключевых вопросов о прозрачности, воспроизводимости, этике и эффективности2020