Эмпирическая оценка управляемых рекуррентных нейронных сетей для моделирования последовательностей
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
2014-12-11
SCID: 54.1/fjm3hw38
Discuss with AI
блоки с затворами GRU (gated recurrent unit)долгосрочная краткосрочная память LSTM (long short-term memory)моделирование полифонической музыкирекуррентные нейронные сети RNN (recurrent neural networks)моделирование речевого сигнала
Figures from the paper
Abstract (AI)
В данной статье мы сравниваем различные типы рекуррентных элементов в рекуррентных нейронных сетях (RNN). В частности, мы сосредотачиваемся на более сложных элементах, реализующих механизм затворов (gating), таких как блок долгой кратковременной памяти (LSTM) и недавно предложенный управляемый рекуррентный блок (GRU). Мы оцениваем эти рекуррентные элементы в задачах моделирования полифонической музыки и моделирования речевых сигналов. Наши эксперименты показали, что эти продвинутые рекуррентные элементы действительно превосходят более традиционные рекуррентные элементы, такие как tanh-блоки. Также мы обнаружили, что GRU сопоставим по качеству с LSTM.
Key Findings
1
Оценки проводились на задачах моделирования полифонической музыки и речевых сигналов.
2
GRU показывает сопоставимые результаты с LSTM в эмпирических оценках.
3
Рекуррентные юниты с механизмом гейтов (LSTM и GRU) превосходят традиционные tanh-юниты в задачах моделирования последовательностей.
Research Object
Рекуррентные блоки нейронных сетей (LSTM, GRU, tanh-единицы), оценённые на задачах моделирования последовательностей
Research Subject
Сравнительная эмпирическая производительность затворных и традиционных рекуррентных блоков (LSTM, GRU, tanh) при моделировании последовательностей, в частности при моделировании полифонической музыки и речевых сигналов
Publication Details
Publication Date
2014-12-11
Journal
Publisher
ISSN
Cited by
13337
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Обучение «последовательность-в-последовательность» с помощью нейронных сетей2014
Нейронный машинный перевод посредством совместного обучения выравниванию и переводу2014
Распознавание речи с помощью глубоких рекуррентных нейронных сетей2013
О свойствах нейронного машинного перевода: подходы энкодер–декодер2014
Работы, цитирующие эту статью20
Informer: эффективный трансформер для прогнозирования временных рядов большой длины и дальнейшее развитие этого подхода2021
Обзор рекуррентных нейронных сетей: LSTM‑ячейки и архитектуры сетей2019
Автоматическое проектирование химических соединений с использованием управляемого данными непрерывного представления молекул2018
Графовые сверточные сети с пространственно-временным вниманием для прогнозирования транспортных потоков2019
Глубокое обучение для классификации гиперспектральных изображений: обзор2019
Надёжное обнаружение аномалий в многомерных временных рядах с использованием стохастической рекуррентной нейронной сети2019
Обзор алгоритмов и архитектур глубинного обучения2019
Tacotron: к энд-ту-энд синтезу речи2017
Глубокое обучение для больших данных и потоковой аналитики Интернета вещей: обзор2018
Графовые нейронные сети в рекомендательных системах: обзор2022
Система обнаружения вторжений в сети: систематическое исследование подходов на основе машинного и глубокого обучения2020
Методы машинного и глубокого обучения для систем обнаружения вторжений: обзор2019
Машинное обучение и искусственный интеллект в квантовой области: обзор последних достижений2018
Рекуррентные нейронные сети: всесторонний обзор архитектур, вариантов и приложений2024
Глубокое обучение для обнаружения аномалий во временных рядах: обзор2024
Обнаружение аномалий в многомерных временных рядах с помощью графовой сети внимания2020
Моделирование покрытия для нейронного машинного перевода2016
Обнаружение и интерпретация аномалий в многомерных временных рядах с использованием иерархического межметрического и временного вложения2021
Обзор графовых нейронных сетей для временных рядов: прогнозирование, классификация, импутация и обнаружение аномалий2024
Информированный физикой машинный интеллект: всесторонний обзор приложений в обнаружении аномалий и мониторинге состояния2024