Обзор рекуррентных нейронных сетей: LSTM‑ячейки и архитектуры сетей

Рекуррентные нейронные сети (RNN) широко используются в исследованиях, связанных с последовательными данными, такими как текст, аудио и видео. Однако RNN, состоящие из sigma‑ячеек или tanh‑ячеек, не способны усваивать релевантную информацию входных данных при большом интервале между входами. Введение функций ворот в структуру ячейки позволило долгой краткосрочной памяти (LSTM) эффективно справляться с задачей долгосрочных зависимостей. С момента появления почти все значимые результаты, основанные на RNN, были достигнуты с использованием LSTM. LSTM стал в центре внимания в глубоких нейронных сетях. В статье дается обзор LSTM‑ячейки и её вариантов с целью исследования обучающей способности LSTM‑ячейки. Кроме того, LSTM‑сети разделены на две широкие категории: сети, доминируемые LSTM, и интегрированные LSTM‑сети. Также обсуждаются их различные области применения. Наконец, представлены направления будущих исследований по LSTM‑сетям.