Трансформеры во временных рядах: обзор
Transformers in Time Series: A Survey
2023-08-01
SCID: 54.1/m5xw3g92
Discuss with AI
Трансформерыобнаружение аномалийпрогнозированиедолгосрочные зависимостивременные ряды
Figures from the paper
Abstract (AI)
Трансформеры продемонстрировали превосходные результаты во многих задачах обработки естественного языка и компьютерного зрения, что вызвало большой интерес в сообществе, работающем с временными рядами. Среди множества преимуществ трансформеров особенно привлекает способность захватывать дальние зависимости и взаимодействия, что важно для моделирования временных рядов и привело к значительному прогрессу в различных приложениях временных рядов. В этой статье мы систематически рассматриваем схемы трансформеров для моделирования временных рядов, выделяя их сильные стороны и ограничения. В частности, мы анализируем развитие трансформеров для временных рядов с двух точек зрения. С точки зрения структуры сети мы суммируем адаптации и модификации, внесённые в трансформеры для учета особенностей анализа временных рядов. С точки зрения приложений мы классифицируем трансформеры для временных рядов на основе общих задач, включая прогнозирование, обнаружение аномалий и классификацию. Эмпирически мы проводим анализ устойчивости, анализ размера моделей и анализ сезонно-трендовой декомпозиции, чтобы изучить, как трансформеры работают на временных рядах. Наконец, мы обсуждаем и предлагаем направления для будущих исследований, чтобы обеспечить полезные рекомендации.
Key Findings
1
Проведены эмпирические анализы, включая устойчивый анализ, анализ размера модели и декомпозицию сезонности-тренда для изучения производительности трансформеров на временных рядах.
2
В статье систематически рассматриваются адаптации и структурные модификации архитектур трансформеров, специально выполненные для решения задач временных рядов.
3
Обзор выявляет как сильные стороны, так и ограничения трансформеров во временных рядах и предлагает направления будущих исследований и рекомендации.
4
Трансформеры для временных рядов классифицированы и проанализированы по ключевым прикладным задачам: прогнозирование, обнаружение аномалий и классификация.
5
Способность трансформеров захватывать долгосрочные зависимости и взаимодействия делает их особенно привлекательными и эффективными для моделирования временных рядов.
Research Object
Модели Transformer, применённые к временным рядам
Research Subject
Архитектурные адаптации, классификация применений (прогнозирование, обнаружение аномалий, классификация), эмпирические анализы производительности (робастность, размер модели, декомпозиция сезонности и тренда), сильные и слабые стороны Transformer для моделирования временных рядов
Publication Details
Publication Date
2023-08-01
Journal
Publisher
ISSN
Cited by
1979
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai15
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Informer: эффективный трансформер для прогнозирования временных рядов большой длины и дальнейшее развитие этого подхода2021
Эффективны ли трансформеры для прогнозирования временных рядов?2023
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Механизм самовнимания с представлениями относительных позиций2018
Предобученный трансформер для обработки изображений2021
Прогнозирование временных рядов с использованием глубокого обучения: обзор2021
Обзор выявления выбросов/аномалий во временных рядах2021
Эффективные трансформеры: обзор2022
Глубокое обучение для обнаружения аномалий во временных рядах данных: обзор, анализ и рекомендации2021
Обучение структур графов с помощью Transformer для обнаружения аномалий в многомерных временных рядах в Интернете вещей2021
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023
Anomaly Transformer: обнаружение аномалий во временных рядах с использованием расхождения ассоциаций2024
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью3
Эффективны ли трансформеры для прогнозирования временных рядов?2023
Обзор графовых нейронных сетей для временных рядов: прогнозирование, классификация, импутация и обнаружение аномалий2024
Комплексный обзор глубокого обучения для прогнозирования временных рядов: архитектурное разнообразие и нерешённые проблемы2025