О свойствах нейронного машинного перевода: подходы энкодер–декодер

Нейронный машинный перевод представляет собой относительно новый подход к статистическому машинному переводу, основанный исключительно на нейронных сетях. Модели нейронного машинного перевода часто состоят из энкодера и декодера. Энкодер извлекает представление фиксированной длины из входного предложения переменной длины, а декодер генерирует корректный перевод на основе этого представления. В данной работе мы сосредотачиваемся на анализе свойств нейронного машинного перевода с использованием двух моделей: RNN энкодер–декодера и недавно предложенной рекурсивной сверточной нейронной сети с затворами (gated). Мы показываем, что нейронный машинный перевод относительно хорошо работает с короткими предложениями без неизвестных слов, но его качество быстро ухудшается по мере увеличения длины предложения и числа неизвестных слов. Более того, мы обнаруживаем, что предложенная рекурсивная сверточная сеть с затворами автоматически изучает грамматическую структуру предложения.