Эффективные трансформеры: обзор
Efficient Transformers: A Survey
2022-04-22
SCID: 54.1/tg9kqs9n
Discuss with AI
Эффективные трансформерыLinformerLongformerPerformerReformerархитектуры Transformerмодели «X-former»вычислительная эффективностьязык, зрение и обучение с подкреплениемпамятная эффективность
Figures from the paper
Abstract (AI)
Архитектуры моделей Transformer в последнее время вызвали большой интерес благодаря своей эффективности в различных областях, таких как обработка языка, компьютерное зрение и обучение с подкреплением. В частности, в области обработки естественного языка трансформеры стали незаменимым элементом современного стека глубокого обучения. В последнее время было предложено множество моделей «X-former» — Reformer, Linformer, Performer, Longformer и др., которые улучшают исходную архитектуру Transformer, при этом многие из них направлены на повышение вычислительной и памятьной эффективности. С целью помочь исследователям ориентироваться в этом потоке публикаций, в статье охарактеризован широкий и внимательный отбор недавних моделей «X-former», ориентированных на эффективность, и представлен организованный и всесторонний обзор существующих работ и моделей в разных областях.
Key Findings
1
Многие недавние модели сосредоточены именно на улучшении эффективности архитектуры Transformer.
2
Были предложены многочисленные варианты «X-former» (например, Reformer, Linformer, Performer, Longformer) для повышения вычислительной и памятйной эффективности по сравнению с оригинальным Transformer.
3
Эта статья предоставляет организованный и всесторонний обзор и характеристику большого набора моделей Transformer, ориентированных на эффективность, в разных областях, чтобы помочь исследователям.
4
Архитектуры Transformer высокоэффективны в таких областях, как обработка языка, компьютерное зрение и обучение с подкреплением.
Research Object
Архитектуры моделей Transformer (эффективностные варианты, такие как Reformer, Linformer, Performer, Longformer)
Research Subject
Улучшения вычислительной и мемориальной эффективности, конструктивные характеристики и сравнительный обзор ориентированных на эффективность вариантов Transformer в разных областях
Publication Details
Publication Date
2022-04-22
Journal
Publisher
ISSN
Cited by
1267
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai11
ImageNet: крупномасштабная иерархическая база изображений2009
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Дистилляция знаний в нейронной сети2015
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
PaLM: Масштабирование языкового моделирования с помощью Pathways2022
Longformer: трансформер для длинных документов2020
TinyBERT: дистилляция BERT для задач понимания естественного языка2020
ETC: Кодирование длинных и структурированных входных данных в трансформерах2020
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью10
О возможностях и рисках фундаментальных моделей2021
Трансформеры во временных рядах: обзор2023
LoFTR: локальное сопоставление признаков без детектора с использованием трансформеров2021
Мультимодальное обучение с трансформерами: обзор2023
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
Эффективное глубокое обучение: обзор методов уменьшения размера, ускорения и повышения качества моделей глубокого обучения2023
Обучение речевых представлений с самоконтролем: обзор2022
Большие языковые модели (LLM): обзор, технические основы и будущие проблемы2024
Комплексный обзор глубокого обучения для прогнозирования временных рядов: архитектурное разнообразие и нерешённые проблемы2025
Исследование метода диагностики неисправностей подшипников на основе трансформерной нейронной сети2022