Методы моделирования глубокого обучения: современный прогресс, применения, преимущества и проблемы
Deep learning modelling techniques: current progress, applications, advantages, and challenges
2023-04-17
SCID: 54.1/h9b6m3bf
Discuss with AI
капсульные архитектурысверточные нейронные сетиглубокое обучениегенеративно-состязательные сетиобучение представлений
Figures from the paper
Abstract (AI)
Глубокое обучение (DL) революционизирует методы принятия решений на основе доказательств, применимые в различных секторах. В частности, оно позволяет использовать два или более уровня нелинейного преобразования признаков исходных данных посредством обучения представлений, чтобы преодолеть ограничения, обусловленные большими наборами данных. Поскольку это междисциплинарная область, находящаяся на начальном этапе развития, публикаций, содержащих обзор архитектур глубокого обучения и охватывающих весь спектр данной области, пока относительно мало. Поэтому в настоящей работе представлен всесторонний обзор современных методов моделирования глубокого обучения, а также рассмотрены их преимущества и проблемы. Было установлено, что многие модели демонстрируют высокую предметно-ориентированную эффективность и могут обучаться с использованием двух или более методов. Однако обучение моделей глубокого обучения может занимать очень много времени, быть дорогостоящим и требовать больших выборок для достижения более высокой точности. Поскольку глубокое обучение также подвержено обману и ошибочной классификации и имеет тенденцию застревать в локальных минимумах, для создания более устойчивых моделей необходима усовершенствованная оптимизация параметров. Тем не менее глубокое обучение уже приводит к прорывным результатам в здравоохранении, образовании, сфере безопасности, коммерческом и промышленном секторах, а также в государственном управлении. Некоторые модели, такие как сверточные нейронные сети (CNN), генеративно-состязательные сети (GAN), рекуррентные нейронные сети (RNN), рекурсивные нейронные сети и автоэнкодеры, используются часто, тогда как потенциал других моделей остается в значительной степени неисследованным. Примечательно, что гибридные традиционные архитектуры глубокого обучения способны преодолеть проблемы, характерные для традиционных моделей. Учитывая, что капсульные архитектуры могут доминировать в будущих моделях глубокого обучения, целью данной работы было систематизировать информацию для заинтересованных сторон, участвующих в разработке и использовании моделей глубокого обучения в современном мире.
Key Findings
1
Сверточные нейронные сети, генеративно-состязательные сети, рекуррентные и рекурсивные нейронные сети, а также автоэнкодеры широко применяются, тогда как потенциал других архитектур остается недостаточно изученным.
2
Глубокое обучение использует многоуровневое нелинейное обучение представлений для обработки больших наборов данных и поддержки принятия решений на основе доказательств в различных сферах.
3
Гибридные архитектуры могут преодолеть ограничения традиционных моделей глубокого обучения, а капсульные архитектуры способны стать доминирующими в будущих системах.
4
Обзор показывает, что эффективность моделей глубокого обучения часто зависит от предметной области, а сами модели могут обучаться несколькими методами.
5
Обучение моделей глубокого обучения требует много времени, дорого стоит, нуждается в очень больших выборках для повышения точности и остается уязвимым к обману, ошибочной классификации и попаданию в локальные минимумы.
Research Object
методы и архитектуры моделирования глубокого обучения
Research Subject
их применения, преимущества, проблемы, эффективность в зависимости от предметной области, а также требования к обучению и оптимизации
Publication Details
Publication Date
2023-04-17
Journal
Publisher
ISSN
Cited by
1050
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai10
Обучение представлений: обзор и новые перспективы2013
Фотореалистичное повышение разрешения одиночного изображения с использованием генеративной состязательной сети2017
Глубокие нейронные сети для акустического моделирования в распознавании речи: общее мнение четырёх исследовательских групп2012
Машинное обучение: тенденции, перспективы и прогнозы2015
Обзор рекуррентных нейронных сетей: LSTM‑ячейки и архитектуры сетей2019
Модель языка на основе рекуррентной нейронной сети2010
Глубокое обучение с подкреплением: краткий обзор2017
Глубокое обучение в здравоохранении: обзор, возможности и проблемы2017
Обзор алгоритмов и архитектур глубинного обучения2019
Сверточные глубокие сети убеждений для масштабируемого обучения без учителя иерархических представлений2009