Механизм самовнимания с представлениями относительной позиции

Self-Attention with Relative Position Representations
Ashish Vaswani, Jakob Uszkoreit, Peter Shaw
2018-01-01
SCID:  54.1/ng8mdjd6 Discuss with AI
Механизм вниманияРепрезентации относительной позицииСамовниманиеShaw Uszkoreit VaswaniТрансформеры
Abstract (AI)
Питер Шоу, Якоб Ушкорейт, Ашиш Васвани. В материалах конференции 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Том 2 (Короткие доклады). 2018.
Key Findings
1
Дополнение self-attention относительной информацией о позициях позволяет модели лучше учитывать порядок последовательности и расстояния между токенами.
2
Введение относительных представлений позиций для self-attention улучшает моделирование взаимодействий токенов по сравнению с абсолютными позиционными кодировками.
3
Предложенные относительные представления позиций можно интегрировать в механизм self-attention в стиле трансформера без существенных изменений архитектуры.
4
Использование относительных представлений позиций приводит к улучшению эмпирической производительности на задачах, оценённых в статье (как указано в короткой статье NAACL 2018).
Research Object

Механизм self-attention в нейронных последовательных моделях

Research Subject

Включение представлений относительных позиций в self-attention для моделирования позиционных взаимосвязей между элементами последовательности

Publication Details
Publication Date
2018-01-01
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Ashish Vaswani
Jakob Uszkoreit
Peter Shaw
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%