ETC: Кодирование длинных и структурированных входных данных в трансформерах
ETC: Encoding Long and Structured Inputs in Transformers
2020-01-01
SCID: 54.1/y4v9mjsz
Discuss with AI
ETCТрансформерыкодирование длинных входовтрансформер с длинным контекстомструктурированные входы
Figures from the paper
Abstract (AI)
Джошуа Эйнсли, Сантьяго Онтанон, Крис Альберти, Вацлав Цвичек, Закари Фишер, Филип Фам, Анирюд Равула, Сумит Сангай, Цифань Ван, Ли Ян. Труды конференции по эмпирическим методам в обработке естественного языка (EMNLP), 2020.
Key Findings
1
ETC позволяет масштабироваться до более длинных контекстов с уменьшенными вычислительными и памятьными затратами по сравнению с плотным вниманием.
2
ETC представляет структурированные входы (например, графы или иерархические данные) с помощью специализированных кодировок и схем внимания.
3
ETC использует разреженные механизмы внимания для обработки намного более длинных последовательностей, чем стандартные Transformers.
4
Представлен ETC, вариант Transformer, разработанный для эффективного кодирования длинных и структурированных входов.
Research Object
Трансформерные нейронные модели для обработки длинных и структурированных входных последовательностей (ETC)
Research Subject
Методы кодирования и механизма внимания для длинных и структурированных входов в трансформерах, включая разреженное внимание и относительные/глобальные представления позиций для масштабирования и учёта структуры
Publication Details
Publication Date
2020-01-01
Journal
Publisher
ISSN
Cited by
377
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai10
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Обучение представлений с помощью контрастивного предиктивного кодирования2018
Модель графовой нейронной сети2008
Иерархические сети внимания для классификации документов2016
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Механизм самовнимания с представлениями относительных позиций2018
Longformer: трансформер для длинных документов2020
HISTORIAE: история социокультурной трансформации как лингвистическая наука о данных. Пример применения в гуманитарных науках2025
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью6
Longformer: трансформер для длинных документов2020
Эффективные трансформеры: обзор2022
GENA-LM: семейство открытых фундаментальных языковых моделей ДНК для длинных последовательностей2024
GENA-LM: семейство фундаментальных языковых моделей ДНК с открытым исходным кодом для длинных последовательностей2023
Обзор современных достижений в извлечении ключевых фраз с использованием предобученных языковых моделей2023
SeDR: обучение представлений сегментов для плотного поиска по длинным документам2022