Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом

Нейронный машинный перевод (NMT) — это сквозной метод обучения для автоматического перевода, обладающий потенциалом преодолеть многие слабые стороны традиционных систем перевода на основе фраз. К сожалению, системы NMT известны своей высокой вычислительной стоимостью как при обучении, так и при выполнении вывода перевода. Кроме того, большинству систем NMT трудно работать с редкими словами. Эти проблемы ограничивали применение NMT в практических развертываниях и сервисах, где важны как точность, так и скорость. В этой работе мы представляем GNMT, систему нейронного машинного перевода Google, которая стремится решить многие из этих задач. Наша модель состоит из глубокой сети LSTM с 8 слоями кодировщика и 8 слоями декодировщика с механизмом внимания и остаточными связями. Чтобы повысить параллелизм и тем самым сократить время обучения, наш механизм внимания соединяет нижний слой декодировщика с верхним слоем кодировщика. Для ускорения финальной скорости перевода мы применяем арифметику низкой точности при вычислениях вывода. Для улучшения обработки редких слов мы делим слова на ограниченный набор общих субсловных единиц ("wordpieces") как для ввода, так и для вывода. Этот метод обеспечивает хороший баланс между гибкостью моделей, разделённых на "символы", и эффективностью моделей, разделённых на "слова", естественно обрабатывает перевод редких слов и в конечном итоге улучшает общую точность системы. Наша техника beam search использует процедуру нормализации по длине и штраф за покрытие (coverage penalty), что стимулирует генерацию выходного предложения, наиболее вероятно покрывающего все слова исходного предложения. На бенчмарках WMT'14 English-to-French и English-to-German GNMT показывает сопоставимые с современным уровнем результаты. По результатам оценки человеком в режиме side-by-side на наборе отдельных простых предложений система снижает число ошибок перевода в среднем на 60% по сравнению с фразовой продукционной системой Google.