Обзор алгоритмов и архитектур глубинного обучения
Review of Deep Learning Algorithms and Architectures
2019-01-01
SCID: 54.1/hc24c3fg
Discuss with AI
глубокие сверточные сетиглубокое обучениеглубокая нейронная сеть (DNN)глубокие остаточные сетиметоды оптимизации при обучении
Figures from the paper
Abstract (AI)
Глубинное обучение (DL) играет всё более важную роль в нашей жизни. Оно уже оказало существенное влияние в таких областях, как диагностика рака, персонализированная медицина, беспилотные автомобили, предиктивный прогноз и распознавание речи. Тщательно ручной разработки извлечители признаков, используемые в традиционных системах обучения, классификации и распознавания образов, не масштабируются для больших наборов данных. Во многих случаях, в зависимости от сложности задачи, DL также может преодолеть ограничения ранних мелких (shallow) сетей, которые препятствовали эффективному обучению и построению иерархических представлений многомерных обучающих данных. Глубокие нейронные сети (DNN) используют несколько (глубоких) слоёв элементов с высоко оптимизированными алгоритмами и архитектурами. В статье рассматриваются различные методы оптимизации для повышения точности обучения и сокращения времени обучения. Мы подробно разбираем математические основы алгоритмов обучения, применяемых в современных глубоких сетях. Описываются текущие недостатки, улучшения и реализации. Обзор также охватывает разные типы глубоких архитектур, такие как глубокие сверточные сети, глубокие остаточные (residual) сети, рекуррентные нейронные сети, обучение с подкреплением, вариационные автокодировщики и другие.
Key Findings
1
Глубокое обучение преодолевает ограничения вручную созданных признаков и мелкопленочных сетей для больших, сложных многомерных наборов данных.
2
Глубокие нейронные сети (DNN) используют несколько слоев с высоко оптимизированными алгоритмами и архитектурами для построения иерархических представлений.
3
Исследуются математические основы современных алгоритмов обучения, включая их недостатки, улучшения и особенности реализации.
4
В статье рассматриваются несколько методов оптимизации, улучшающих точность обучения и сокращающих время обучения глубоких сетей.
5
Обзор охватывает различные глубокие архитектуры: сверточные сети, остаточные сети, рекуррентные сети, обучение с подкреплением и вариационные автокодировщики.
Research Object
Алгоритмы и архитектуры глубокого обучения (глубокие нейронные сети и их варианты)
Research Subject
Методы оптимизации, алгоритмы обучения, математические основы, недостатки, улучшения и реализации, а также типы глубоких архитектур, направленные на повышение точности обучения и сокращение времени обучения
Publication Details
Publication Date
2019-01-01
Journal
Publisher
ISSN
Cited by
1882
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai11
Глубокое остаточное обучение для распознавания изображений2016
Adam: метод стохастической оптимизации2014
Градиентное обучение для распознавания документов1998
Адаптация в естественных и искусственных системах1992
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
Снижение размерности данных с помощью нейронных сетей2006
Эмпирическая оценка управляемых рекуррентных нейронных сетей для моделирования последовательностей2014
Обучение представлений без учителя с помощью глубоких сверточных генеративных состязательных сетей2015
Машинное обучение: тенденции, перспективы и прогнозы2015
Глубокое обучение с подкреплением: краткий обзор2017
Приложения и проблемы глубокого обучения в аналитике больших данных2015
Работы, цитирующие эту статью8
Обзор глубокого обучения: концепции, архитектуры сверточных нейронных сетей, проблемы, применения и перспективные направления2021
Научное машинное обучение с использованием физически информированных нейронных сетей: современное состояние и дальнейшие перспективы2022
Методы моделирования глубокого обучения: современный прогресс, применения, преимущества и проблемы2023
Применение искусственного интеллекта к медицинским изображениям: от машинного обучения до глубокого обучения2021
Обзор и анализ методов автоматической оптической инспекции и контроля качества в электронной промышленности2020
Цифровой двойник в морской отрасли: обзор и перспективные тенденции2023
Искусственный интеллект в исследованиях качества жизни: систематический обзор литературы2024
Искусственный интеллект революционизирует прогнозирование погоды, мониторинг климата и декадные прогнозы2021