Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
2016-09-26
SCID: 54.1/zjhzktdn
Discuss with AI
Google Neural Machine Translation (GNMT)механизм внимания с резидуальными связямиглубокая LSTM кодер-декодернизкая точность при выводесубсловные единицы wordpiece
Figures from the paper
Abstract (AI)
Нейронный машинный перевод (NMT) — это сквозной метод обучения для автоматического перевода, обладающий потенциалом преодолеть многие слабые стороны традиционных систем перевода на основе фраз. К сожалению, системы NMT известны своей высокой вычислительной стоимостью как при обучении, так и при выполнении вывода перевода. Кроме того, большинству систем NMT трудно работать с редкими словами. Эти проблемы ограничивали применение NMT в практических развертываниях и сервисах, где важны как точность, так и скорость. В этой работе мы представляем GNMT, систему нейронного машинного перевода Google, которая стремится решить многие из этих задач. Наша модель состоит из глубокой сети LSTM с 8 слоями кодировщика и 8 слоями декодировщика с механизмом внимания и остаточными связями. Чтобы повысить параллелизм и тем самым сократить время обучения, наш механизм внимания соединяет нижний слой декодировщика с верхним слоем кодировщика. Для ускорения финальной скорости перевода мы применяем арифметику низкой точности при вычислениях вывода. Для улучшения обработки редких слов мы делим слова на ограниченный набор общих субсловных единиц ("wordpieces") как для ввода, так и для вывода. Этот метод обеспечивает хороший баланс между гибкостью моделей, разделённых на "символы", и эффективностью моделей, разделённых на "слова", естественно обрабатывает перевод редких слов и в конечном итоге улучшает общую точность системы. Наша техника beam search использует процедуру нормализации по длине и штраф за покрытие (coverage penalty), что стимулирует генерацию выходного предложения, наиболее вероятно покрывающего все слова исходного предложения. На бенчмарках WMT'14 English-to-French и English-to-German GNMT показывает сопоставимые с современным уровнем результаты. По результатам оценки человеком в режиме side-by-side на наборе отдельных простых предложений система снижает число ошибок перевода в среднем на 60% по сравнению с фразовой продукционной системой Google.
Key Findings
1
Механизм внимания подключён от нижнего слоя декодера к верхнему слою энкодера для улучшения параллелизма и сокращения времени обучения.
2
Поиск с пучком с нормализацией длины и штрафом за покрытие поощряет генерацию выходов, лучше покрывающих слова исходного предложения.
3
GNMT — глубокая LSTM NMT-система с 8 слоями энкодера и 8 слоями декодера с механизмом внимания и остаточными соединениями.
4
Человеческая оценка «бок о бок» на простых предложениях показывает, что GNMT снижает ошибки перевода в среднем на 60% по сравнению с фразовой системой Google.
5
При выводе используется арифметика с низкой точностью для ускорения скорости перевода.
6
На бенчмарках WMT'14 English→French и English→German GNMT показывает результаты, сопоставимые с передовым уровнем.
7
Слова сегментируются на общие субсловные единицы (wordpieces) во входе и выходе, что улучшает обработку редких слов и балансирует модели на уровне символов и слов.
Research Object
Система нейронного машинного перевода Google (GNMT)
Research Subject
Приёмы и характеристики GNMT: глубокая LSTM encoder–decoder архитектура с вниманием и резидуальными соединениями, субсловная модель wordpiece для работы с редкими словами, низкополичное вычисление при инференсе для ускорения и beam search с нормализацией длины и штрафом за покрытие для повышения точности и скорости перевода
Publication Details
Publication Date
2016-09-26
Journal
Publisher
ISSN
Cited by
5319
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai1
Работы, цитирующие эту статью20
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Агрегированные остаточные преобразования для глубоких нейронных сетей2017
Всеобъемлющий обзор графовых нейронных сетей2020
Обзор больших языковых моделей2026
Образование в эпоху генеративного искусственного интеллекта (ИИ): понимание потенциальных преимуществ ChatGPT в развитии преподавания и обучения2023
Масштабируемое и точное глубокое обучение с использованием электронных медицинских карт2018
CodeBERT: предобученная модель для языков программирования и естественных языков2020
Механизм самовнимания с представлениями относительных позиций2018
BloombergGPT: большая языковая модель для финансов2023
Многоязычная система нейронного машинного перевода Google: обеспечение zero-shot перевода2017
Tacotron: к энд-ту-энд синтезу речи2017
Машинное обучение и искусственный интеллект в квантовой области: обзор последних достижений2018
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Рекуррентные нейронные сети: всесторонний обзор архитектур, вариантов и приложений2024
Фреймворки и библиотеки машинного и глубокого обучения для интеллектуального анализа крупномасштабных данных: обзор2019
Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение2023
Граничное обучение для сетей B5G с распределённой обработкой сигналов: семантическая связь, периферийные вычисления и беспроводное зондирование2023
Обучение глубоких моделей Transformer для машинного перевода2019
Новая каскадная бинарная модель разметки для извлечения реляционных троек2020
Семантические коммуникации для Интернета будущего: основы, приложения и проблемы2022