Эмпирическая оценка управляемых рекуррентных нейронных сетей для моделирования последовательностей

В данной статье мы сравниваем различные типы рекуррентных элементов в рекуррентных нейронных сетях (RNN). В частности, мы сосредотачиваемся на более сложных элементах, реализующих механизм затворов (gating), таких как блок долгой кратковременной памяти (LSTM) и недавно предложенный управляемый рекуррентный блок (GRU). Мы оцениваем эти рекуррентные элементы в задачах моделирования полифонической музыки и моделирования речевых сигналов. Наши эксперименты показали, что эти продвинутые рекуррентные элементы действительно превосходят более традиционные рекуррентные элементы, такие как tanh-блоки. Также мы обнаружили, что GRU сопоставим по качеству с LSTM.