Многоязычная система нейронного машинного перевода Google: обеспечение zero-shot перевода

Мы предлагаем простое решение, позволяющее использовать одну модель нейронного машинного перевода (NMT) для перевода между несколькими языками. Наше решение не требует изменений архитектуры модели по сравнению со стандартной NMT-системой, вместо этого вводится искусственный токен в начале входного предложения для указания требуемого целевого языка. С использованием общего словаря wordpiece наш подход обеспечивает работу многоязычных NMT-систем на основе одной модели. На бенчмарках WMT’14 единая многоязычная модель показывает сопоставимые результаты для English→French и превышает передовые результаты для English→German. Аналогично, единая многоязычная модель превосходит передовые результаты для French→English и German→English на бенчмарках WMT’14 и WMT’15 соответственно. На производственных корпусах многоязычные модели для до двенадцати пар языков обеспечивают более качественный перевод многих отдельных пар. Наши модели также способны изучать неявное «мостирование» между парами языков, которые не встречались явно во время обучения, что демонстрирует возможность переноса обучения и zero-shot перевода для нейронного перевода. Наконец, мы приводим анализы, указывающие на существование универсального интерлингвального представления в наших моделях, и показываем некоторые интересные примеры при смешивании языков.