Обучение «последовательность-в-последовательность» с помощью нейронных сетей

Глубокие нейронные сети (DNN) представляют собой мощные модели, достигшие отличных результатов в сложных задачах обучения. Хотя DNN хорошо работают при наличии больших размеченных обучающих наборов, они не предназначены для прямого отображения последовательностей в последовательности. В этой статье мы представляем общий сквозной подход к обучению последовательностей, делающий минимальные допущения относительно структуры последовательности. Наш метод использует многослойную сеть с длительной короткосрочной памятью (Long Short-Term Memory, LSTM) для отображения входной последовательности в вектор фиксированной размерности, а затем другую глубокую LSTM для декодирования целевой последовательности из этого вектора. Основной результат заключается в том, что в задаче перевода с английского на французский на датасете WMT'14 переводы, сгенерированные LSTM, достигают значения BLEU 34.8 на всем тестовом наборе при том, что BLEU LSTM штрафовался за слова, отсутствующие в словаре. Кроме того, LSTM не испытывала трудностей с длинными предложениями. Для сравнения, система статистического машинного перевода на основе фраз (phrase-based SMT) достигает BLEU 33.3 на том же наборе данных. Когда мы использовали LSTM для повторной ранжировки 1000 гипотез, сгенерированных упомянутой SMT-системой, ее BLEU повысился до 36.5, что близко к предыдущему лучшему результату по этой задаче. LSTM также выучила содержательные представления фраз и предложений, чувствительные к порядку слов и сравнительно инвариантные к активному и пассивному залогу. Наконец, мы обнаружили, что обращение порядка слов во всех исходных предложениях (но не в целевых) заметно улучшало производительность LSTM, поскольку это вводило множество краткосрочных зависимостей между исходным и целевым предложением, что облегчало задачу оптимизации.