Нейронный машинный перевод посредством совместного обучения выравниванию и переводу

Нейронный машинный перевод — недавно предложенный подход к машинному переводу. В отличие от традиционного статистического машинного перевода, нейронный машинный перевод нацелен на построение одной нейронной сети, которую можно совместно настраивать для максимизации качества перевода. Недавно предложенные модели нейронного машинного перевода часто относятся к семейству кодировщик–декодировщик и состоят из кодировщика, который кодирует исходное предложение в вектор фиксированной длины, по которому декодировщик генерирует перевод. В этой работе мы выдвигаем предположение, что использование вектора фиксированной длины является узким местом для улучшения производительности этой базовой архитектуры кодировщик–декодировщик, и предлагаем расширение, позволяющее модели автоматически (мягко) искать части исходного предложения, которые имеют отношение к предсказанию целевого слова, без явного формирования этих частей в жесткие сегменты. С помощью этого нового подхода мы достигаем качества перевода, сопоставимого с существующей передовой системой на основе фраз, в задаче перевода с английского на французский язык. Кроме того, качественный анализ показывает, что найденные моделью (мягкие) выравнивания хорошо согласуются с нашей интуицией.