Механизм самовнимания с представлениями относительной позиции
Self-Attention with Relative Position Representations
2018-01-01
SCID: 54.1/ng8mdjd6
Discuss with AI
Механизм вниманияРепрезентации относительной позицииСамовниманиеShaw Uszkoreit VaswaniТрансформеры
Figures from the paper
Abstract (AI)
Питер Шоу, Якоб Ушкорейт, Ашиш Васвани. В материалах конференции 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Том 2 (Короткие доклады). 2018.
Key Findings
1
Дополнение self-attention относительной информацией о позициях позволяет модели лучше учитывать порядок последовательности и расстояния между токенами.
2
Введение относительных представлений позиций для self-attention улучшает моделирование взаимодействий токенов по сравнению с абсолютными позиционными кодировками.
3
Предложенные относительные представления позиций можно интегрировать в механизм self-attention в стиле трансформера без существенных изменений архитектуры.
4
Использование относительных представлений позиций приводит к улучшению эмпирической производительности на задачах, оценённых в статье (как указано в короткой статье NAACL 2018).
Research Object
Механизм self-attention в нейронных последовательных моделях
Research Subject
Включение представлений относительных позиций в self-attention для моделирования позиционных взаимосвязей между элементами последовательности
Publication Details
Publication Date
2018-01-01
Journal
Publisher
ISSN
Cited by
2504
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai7
Adam: метод стохастической оптимизации2014
Переосмысление архитектуры Inception для компьютерного зрения2016
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
Обучение «последовательность-в-последовательность» с помощью нейронных сетей2014
Эффективные подходы к нейронному машинному переводу на основе механизма внимания2015
Обучение представлений фраз с использованием RNN Encoder–Decoder для статистического машинного перевода2014
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Работы, цитирующие эту статью16
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Обзор больших языковых моделей2026
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Механизмы внимания в компьютерном зрении: обзор2022
Трансформер для неоднородных графов2020
Uformer: Общая U-образная трансформерная архитектура для восстановления изображений2022
Трансформеры во временных рядах: обзор2023
CSWin Transformer: универсальный визуальный трансформер с перекрёстными окнами2022
Обучение глубоких моделей Transformer для машинного перевода2019
Большие языковые модели (LLM): обзор, технические основы и будущие проблемы2024
ETC: Кодирование длинных и структурированных входных данных в трансформерах2020
Графовые нейронные сети для обработки естественного языка: обзор2023
Ансамбли человека и искусственного интеллекта: когда они могут работать?2021
Большие языковые модели: всесторонний обзор их приложений, проблем, ограничений и перспектив развития2023
Сравнительный атлас доступности хроматина на одиночных клетках человеческого мозга2023
Обнаружение аномалий в динамических графах: всесторонний обзор2024