Обучение представлений фраз с использованием RNN Encoder–Decoder для статистического машинного перевода

В данной работе мы предлагаем новую модель нейронной сети под названием RNN Encoder–Decoder, состоящую из двух рекуррентных нейронных сетей (RNN). Одна RNN кодирует последовательность символов в вектор представления фиксированной длины, а другая декодирует это представление в другую последовательность символов. Энкодер и декодер предложенной модели обучаются совместно с целью максимизации условной вероятности целевой последовательности при заданной исходной последовательности. Экспериментально показано, что производительность системы статистического машинного перевода улучшается при использовании условных вероятностей пар фраз, вычисленных RNN Encoder–Decoder, в качестве дополнительной функции в существующей лог-линейной модели. Качественный анализ показывает, что предложенная модель обучается семантически и синтаксически осмысленным представлениям лингвистических фраз.