О свойствах нейронного машинного перевода: подходы энкодер–декодер

Нейронный машинный перевод — относительно новый подход к статистическому машинному переводу, основанный исключительно на нейронных сетях. Модели нейронного машинного перевода часто состоят из энкодера и декодера. Энкодер извлекает представление фиксированной длины из входного предложения переменной длины, а декодер генерирует корректный перевод на основе этого представления. В данной работе мы сосредотачиваемся на анализе свойств нейронного машинного перевода с использованием двух моделей: RNN-энкодер–декодера и вновь предложенной рекурсивной сверточной нейронной сети с элементами управления (gated recursive convolutional neural network). Мы показываем, что нейронный машинный перевод относительно хорошо работает с короткими предложениями без неизвестных слов, но его качество быстро ухудшается по мере увеличения длины предложения и числа неизвестных слов. Кроме того, мы обнаруживаем, что предложенная рекурсивная сверточная сеть с элементами управления автоматически изучает грамматическую структуру предложения.