Эффективные подходы к нейронному машинному переводу на основе механизма внимания
Effective Approaches to Attention-based Neural Machine Translation
2015-01-01
SCID: 54.1/qtd5666f
Discuss with AI
BLEUWMT английский-немецкийнейронный машинный перевод с механизмом вниманияглобальное вниманиелокальное внимание
Figures from the paper
Abstract (AI)
Механизм внимания в последнее время используется для улучшения нейронного машинного перевода (NMT) за счёт выборочного фокусирования на частях исходного предложения во время перевода. Однако мало работ исследуют полезные архитектуры для NMT на основе внимания. В статье рассматриваются два простых и эффективных класса механизмов внимания: глобальный подход, который всегда учитывает все слова исходного текста, и локальный, который в каждый момент времени просматривает только часть слов. Мы демонстрируем эффективность обоих подходов на задачах перевода WMT между английским и немецким языками в обоих направлениях. При использовании локального внимания мы достигаем существенного прироста на 5,0 BLEU по сравнению с системами без внимания, которые уже включают известные приёмы, такие как dropout. Наш ансамбль моделей с разными архитектурами внимания даёт новый рекордный результат для задачи WMT'15 «английский→немецкий» — 25,9 BLEU, что на 1,0 BLEU лучше по сравнению с предыдущей лучшей системой, основанной на NMT и n-граммовом переназначителе (n-gram reranker).
Key Findings
1
Ансамбль, объединяющий разные архитектуры внимания, достигает нового рекорда WMT'15 English→German — 25.9 BLEU, что на 1.0 BLEU лучше предыдущей лучшей системы на основе NMT и n-граммного ранжировщика.
2
Оба подхода внимания эффективны на задачах перевода WMT между английским и немецким языками в обоих направлениях.
3
Локальное внимание обеспечивает значимый прирост на 5.0 BLEU по сравнению с системами без внимания, которые уже используют такие методы, как dropout.
4
Исследованы два простых механизма внимания для NMT: глобальный, учитывающий все слова источника, и локальный, учитывающий подмножество слов.
Research Object
Модели нейронного машинного перевода с механизмом внимания (глобальная и локальная схемы внимания), применённые к задачам перевода WMT между английским и немецким
Research Subject
Эффективность и производительность глобальной и локальной схем внимания, измеряемые приростом по BLEU и достижением состояния‑в‑искусстве на задачах перевода WMT английский↔немецкий
Publication Details
Publication Date
2015-01-01
Journal
Publisher
ISSN
Cited by
8382
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai3
Работы, цитирующие эту статью19
Всеобъемлющий обзор графовых нейронных сетей2020
Механизм самовнимания с представлениями относительных позиций2018
Многоязычная система нейронного машинного перевода Google: обеспечение zero-shot перевода2017
Глубокое обучение в биоинформатике2016
Earthquake Transformer — модель глубокого обучения с механизмом внимания для одновременного обнаружения землетрясений и определения фаз2020
Обзор интерпретируемости обучения с учителем2021
Рекуррентные нейронные сети: всесторонний обзор архитектур, вариантов и приложений2024
Трансферное обучение для нейронного машинного перевода при ограниченных ресурсах2016
Дистилляция знаний на уровне последовательностей2016
Обучение спайковых нейронных сетей с использованием достижений глубокого обучения2023
Механизм внимания в обработке естественного языка2020
Обучение глубоких моделей Transformer для машинного перевода2019
Моделирование покрытия для нейронного машинного перевода2016
Семантические коммуникации для Интернета будущего: основы, приложения и проблемы2022
DeePMD-kit v2: программный пакет для моделей глубокого потенциала2023
Адаптация глубоких двунаправленных многоязычных трансформеров для русского языка2019
Большие языковые модели (LLM): обзор, технические основы и будущие проблемы2024
Графовые нейронные сети для обработки естественного языка: обзор2023
Обнаружение аномалий в динамических графах: всесторонний обзор2024