Трансферное обучение для нейронного машинного перевода при ограниченных ресурсах

Архитектура «кодировщик—декодировщик» для нейронного машинного перевода (NMT) показала свою эффективность при больших объёмах данных, но значительно менее эффективна для языков с малыми ресурсами. Мы предлагаем метод трансферного обучения, который существенно улучшает показатели BLEU для ряда языков с ограниченными ресурсами. Наша ключевая идея состоит в предварительной тренировке пары языков с большими ресурсами (родительская модель), после чего часть выученных параметров переносится в пару с малыми ресурсами (дочерняя модель) для инициализации и ограничения обучения. С помощью предложенного метода трансферного обучения мы повышаем исходные NMT-модели в среднем на 5,6 BLEU на четырёх парах языков с ограниченными ресурсами. Ансамблирование и замена неизвестных слов добавляют ещё 2 BLEU, что сближает производительность NMT на задачах перевода с ограниченными ресурсами с сильной синтаксической системой машинного перевода (SBMT), при этом для одной языковой пары NMT превосходит её. Дополнительно использование модели трансферного обучения для повторной оценки (re-scoring) позволяет улучшить SBMT в среднем на 1,3 BLEU, повышая актуальное состояние искусства в машинном переводе для языков с малыми ресурсами.