Эмпирическая оценка управляемых рекуррентных нейронных сетей для моделирования последовательностей

Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Çağlar Gülçehre, Yoshua Bengio, Kyunghyun Cho, Kyunghyun Cho, Jun‐Young Chung, Chung, Junyoung
2014-12-11

блоки с затворами GRU (gated recurrent unit)долгосрочная краткосрочная память LSTM (long short-term memory)моделирование полифонической музыкирекуррентные нейронные сети RNN (recurrent neural networks)моделирование речевого сигнала
В данной статье мы сравниваем различные типы рекуррентных элементов в рекуррентных нейронных сетях (RNN). В частности, мы сосредотачиваемся на более сложных элементах, реализующих механизм затворов (gating), таких как блок долгой кратковременной памяти (LSTM) и недавно предложенный управляемый рекуррентный блок (GRU). Мы оцениваем эти рекуррентные элементы в задачах моделирования полифонической музыки и моделирования речевых сигналов. Наши эксперименты показали, что эти продвинутые рекуррентные элементы действительно превосходят более традиционные рекуррентные элементы, такие как tanh-блоки. Также мы обнаружили, что GRU сопоставим по качеству с LSTM.
1
Оценки проводились на задачах моделирования полифонической музыки и речевых сигналов.
2
GRU показывает сопоставимые результаты с LSTM в эмпирических оценках.
3
Рекуррентные юниты с механизмом гейтов (LSTM и GRU) превосходят традиционные tanh-юниты в задачах моделирования последовательностей.

Рекуррентные блоки нейронных сетей (LSTM, GRU, tanh-единицы), оценённые на задачах моделирования последовательностей

Сравнительная эмпирическая производительность затворных и традиционных рекуррентных блоков (LSTM, GRU, tanh) при моделировании последовательностей, в частности при моделировании полифонической музыки и речевых сигналов

Publication Details
Publication Date
2014-12-11
Journal
Publisher
ISSN
Cited by
13337
Access Type
Author Information
Authors
Çağlar Gülçehre
Yoshua Bengio
Kyunghyun Cho
Kyunghyun Cho
Jun‐Young Chung
Chung, Junyoung
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%