Обзор рекуррентных нейронных сетей: LSTM‑ячейки и архитектуры сетей
A Review of Recurrent Neural Networks: LSTM Cells and Network Architectures
2019-05-21
SCID: 54.1/6canrfqp
Discuss with AI
LSTM ячейкаварианты LSTMLSTM-ориентированные сетидолгая краткосрочная памятьрекуррентные нейронные сети
Figures from the paper
Abstract (AI)
Рекуррентные нейронные сети (RNN) широко используются в исследованиях, связанных с последовательными данными, такими как текст, аудио и видео. Однако RNN, состоящие из sigma‑ячеек или tanh‑ячеек, не способны усваивать релевантную информацию входных данных при большом интервале между входами. Введение функций ворот в структуру ячейки позволило долгой краткосрочной памяти (LSTM) эффективно справляться с задачей долгосрочных зависимостей. С момента появления почти все значимые результаты, основанные на RNN, были достигнуты с использованием LSTM. LSTM стал в центре внимания в глубоких нейронных сетях. В статье дается обзор LSTM‑ячейки и её вариантов с целью исследования обучающей способности LSTM‑ячейки. Кроме того, LSTM‑сети разделены на две широкие категории: сети, доминируемые LSTM, и интегрированные LSTM‑сети. Также обсуждаются их различные области применения. Наконец, представлены направления будущих исследований по LSTM‑сетям.
Key Findings
1
Почти все заметные результаты, основанные на RNN, после появления LSTM были достигнуты с использованием архитектур LSTM, что делает LSTM центральным в прогрессе глубокого обучения для последовательных данных.
2
Введение функций ворот в LSTM-ячейки позволяет эффективно обрабатывать долгосрочные зависимости по сравнению с традиционными RNN-ячейками.
3
LSTM-сети можно разделить на два широких класса — LSTM-доминирующие сети и интегрированные LSTM-сети — рассматриваются их различные применения и направления будущих исследований.
4
Стандартные RNN с sigma- или tanh-ячейками испытывают трудности с обучением релевантной информации при больших разрывах во входных данных, не справляясь с долгосрочными зависимостями.
5
В статье рассматриваются варианты LSTM-ячейки для анализа и изучения способности LSTM к обучению.
Research Object
Ячейки Long Short-Term Memory (LSTM) и архитектуры рекуррентных нейронных сетей на их основе
Research Subject
Обучающая способность, варианты, классификация (сети, доминируемые LSTM, и интегрированные LSTM-сети), области применения и направления будущих исследований ячеек LSTM и сетей на их основе, особенно их способность справляться с долгосрочными зависимостями в последовательных данных
Publication Details
Publication Date
2019-05-21
Journal
Publisher
ISSN
Cited by
6551
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Градиентное обучение для распознавания документов1998
Эмпирическая оценка управляемых рекуррентных нейронных сетей для моделирования последовательностей2014
Двунаправленные рекуррентные нейронные сети1997
Обучение представлений фраз с использованием RNN Encoder–Decoder для статистического машинного перевода2014
Работы, цитирующие эту статью12
Методы моделирования глубокого обучения: современный прогресс, применения, преимущества и проблемы2023
Рекуррентные нейронные сети: всесторонний обзор архитектур, вариантов и приложений2024
Финансовое мошенничество: обзор методов обнаружения аномалий и последних достижений2021
Пространственно-временные графовые нейронные сети для предиктивного обучения в городской информатике: обзор2023
Методы машинного обучения для решения задач, связанных с малыми объемами данных в молекулярной науке2023
Генеративный искусственный интеллект в открытии лекарств: базовая структура, последние достижения, проблемы и возможности2024
Ансамбль моделей глубокого обучения с ресэмплированием данных для обнаружения мошенничества с банковскими картами2023
Большие языковые модели для прогнозирования и обнаружения аномалий: систематический обзор литературы2024
Большие языковые модели: структурированная таксономия и обзор проблем, ограничений, решений и перспективных направлений2025
Сравнительный анализ глубоких нейронных сетей и больших языковых моделей для аспектно-ориентированного анализа тональности2024
Глубокое обучение для устойчивого аквакультуры: возможности и вызовы2025
Передовые бортовые системы мониторинга состояния колес железнодорожного подвижного состава: всесторонний обзор2023