Обучение «последовательность-в-последовательность» с помощью нейронных сетей
Sequence to Sequence Learning with Neural Networks
2014-09-10
SCID: 54.1/ewdnrcpp
Discuss with AI
метрика BLEULSTMдолгая кратковременная памятьWMT'14 английский-французский переводпереранжирование гипотез SMTинвертирование порядка слов в исходном предложениикодирование-декодирование последовательностейобучение последовательность-в-последовательность
Figures from the paper
Abstract (AI)
Глубокие нейронные сети (DNN) представляют собой мощные модели, достигшие отличных результатов в сложных задачах обучения. Хотя DNN хорошо работают при наличии больших размеченных обучающих наборов, они не предназначены для прямого отображения последовательностей в последовательности. В этой статье мы представляем общий сквозной подход к обучению последовательностей, делающий минимальные допущения относительно структуры последовательности. Наш метод использует многослойную сеть с длительной короткосрочной памятью (Long Short-Term Memory, LSTM) для отображения входной последовательности в вектор фиксированной размерности, а затем другую глубокую LSTM для декодирования целевой последовательности из этого вектора. Основной результат заключается в том, что в задаче перевода с английского на французский на датасете WMT'14 переводы, сгенерированные LSTM, достигают значения BLEU 34.8 на всем тестовом наборе при том, что BLEU LSTM штрафовался за слова, отсутствующие в словаре. Кроме того, LSTM не испытывала трудностей с длинными предложениями. Для сравнения, система статистического машинного перевода на основе фраз (phrase-based SMT) достигает BLEU 33.3 на том же наборе данных. Когда мы использовали LSTM для повторной ранжировки 1000 гипотез, сгенерированных упомянутой SMT-системой, ее BLEU повысился до 36.5, что близко к предыдущему лучшему результату по этой задаче. LSTM также выучила содержательные представления фраз и предложений, чувствительные к порядку слов и сравнительно инвариантные к активному и пассивному залогу. Наконец, мы обнаружили, что обращение порядка слов во всех исходных предложениях (но не в целевых) заметно улучшало производительность LSTM, поскольку это вводило множество краткосрочных зависимостей между исходным и целевым предложением, что облегчало задачу оптимизации.
Key Findings
1
На задаче WMT'14 английский→французский LSTM достиг BLEU 34.8 на всем тестовом наборе (с штрафом за неизвестные слова), опередив фразовую SMT-систему с BLEU 33.3.
2
Предложен сквозной (end-to-end) подход sequence-to-sequence с энкодером LSTM, кодирующим входную последовательность в вектор фиксированного размера, и декодером LSTM для генерации целевой последовательности.
3
Реранжирование 1000 гипотез от фразовой SMT с помощью LSTM увеличило BLEU до 36.5, близко к предыдущему лучшему результату на этой задаче.
4
Обращение порядка слов во всех исходных предложениях (но не в целевых) значительно улучшило производительность LSTM, введя краткосрочные зависимости и упростив оптимизацию.
5
LSTM успешно работал с длинными предложениями и научился представлениям фраз/предложений, чувствительным к порядку слов и относительно инвариантным к активному/пассивному залогу.
Research Object
Нейросетевая модель «последовательность-в-последовательность» с многослойными LSTM для преобразования входных последовательностей в выходные последовательности
Research Subject
Способность seq2seq-модели на базе LSTM обучать энд-то-энд преобразования последовательностей для машинного перевода (англ.→фр.): качество перевода (BLEU), работа с длинными предложениями и представления фраз/предложений, а также влияние обратного порядка слов в исходных предложениях
Publication Details
Publication Date
2014-09-10
Journal
Publisher
ISSN
Cited by
17279
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Работы, цитирующие эту статью20
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Нейронный машинный перевод посредством совместного обучения выравниванию и переводу2014
Обучение представлений с помощью контрастивного предиктивного кодирования2018
Эмпирическая оценка управляемых рекуррентных нейронных сетей для моделирования последовательностей2014
О свойствах нейронного машинного перевода: подходы энкодер–декодер2014
Эффективные подходы к нейронному машинному переводу на основе механизма внимания2015
Informer: эффективный трансформер для прогнозирования временных рядов большой длины и дальнейшее развитие этого подхода2021
Пространственно-временные графовые сверточные сети: платформа глубокого обучения для прогнозирования трафика2018
Автоматическое проектирование химических соединений с использованием управляемого данными непрерывного представления молекул2018
Глубокое обучение для обнаружения аномалий2021
Глубокое обучение в здравоохранении: обзор, возможности и проблемы2017
CodeBERT: предобученная модель для языков программирования и естественных языков2020
Механизм самовнимания с представлениями относительных позиций2018
Longformer: трансформер для длинных документов2020
CatBoost для больших данных: междисциплинарный обзор2020
Многоязычная система нейронного машинного перевода Google: обеспечение zero-shot перевода2017
Tacotron: к энд-ту-энд синтезу речи2017
Мультимодальное компактное билинейное объединение для ответов на визуальные вопросы и визуального заземления2016
Автоматизированное машинное обучение2019
Генеративный искусственный интеллект2023