ETC: Кодирование длинных и структурированных входных данных в трансформерах

ETC: Encoding Long and Structured Inputs in Transformers
Joshua Ainslie, Chris Alberti, Santiago Ontañón, Vaclav Cvicek, Zachary Fisher, Philip Pham, Anirudh Ravula, Sumit Sanghai, Qifan Wang, Yang Li
2020-01-01
SCID:  54.1/y4v9mjsz Discuss with AI
ETCТрансформерыкодирование длинных входовтрансформер с длинным контекстомструктурированные входы
Abstract (AI)
Джошуа Эйнсли, Сантьяго Онтанон, Крис Альберти, Вацлав Цвичек, Закари Фишер, Филип Фам, Анирюд Равула, Сумит Сангай, Цифань Ван, Ли Ян. Труды конференции по эмпирическим методам в обработке естественного языка (EMNLP), 2020.
Key Findings
1
ETC позволяет масштабироваться до более длинных контекстов с уменьшенными вычислительными и памятьными затратами по сравнению с плотным вниманием.
2
ETC представляет структурированные входы (например, графы или иерархические данные) с помощью специализированных кодировок и схем внимания.
3
ETC использует разреженные механизмы внимания для обработки намного более длинных последовательностей, чем стандартные Transformers.
4
Представлен ETC, вариант Transformer, разработанный для эффективного кодирования длинных и структурированных входов.
Research Object

Трансформерные нейронные модели для обработки длинных и структурированных входных последовательностей (ETC)

Research Subject

Методы кодирования и механизма внимания для длинных и структурированных входов в трансформерах, включая разреженное внимание и относительные/глобальные представления позиций для масштабирования и учёта структуры

Publication Details
Publication Date
2020-01-01
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Joshua Ainslie
Chris Alberti
Santiago Ontañón
Vaclav Cvicek
Zachary Fisher
Philip Pham
Anirudh Ravula
Sumit Sanghai
Qifan Wang
Yang Li
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%