Эффективны ли трансформеры для прогнозирования временных рядов?
Are Transformers Effective for Time Series Forecasting?
2023-06-26
SCID: 54.1/m237uv6e
Discuss with AI
LTSF-LinearTransformersдолгосрочное прогнозирование временных рядовпозиционное кодированиепотеря временной информации из-за self-attention
Figures from the paper
Abstract (AI)
В последнее время наблюдается всплеск решений на основе трансформеров для задачи долгосрочного прогнозирования временных рядов (LTSF). Несмотря на растущие показатели за последние годы, в данной работе мы ставим под сомнение обоснованность этого направления исследований. В частности, трансформеры, по существу, являются наиболее успешным решением для извлечения семантических корреляций между элементами длинной последовательности. Однако при моделировании временных рядов необходимо извлекать временные связи в упорядоченном множестве непрерывных точек. Хотя использование позиционного кодирования и токенов для встраивания подсерий в трансформерах помогает сохранить некоторую информацию о порядке, пермутационно-инвариантный механизм self-attention неизбежно приводит к потере временной информации. Чтобы подтвердить наше утверждение, мы представляем набор предельно простых однослойных линейных моделей под названием LTSF-Linear для сравнения. Экспериментальные результаты на девяти реальных наборах данных показывают, что LTSF-Linear неожиданно превосходит существующие сложные модели LTSF на основе трансформеров во всех случаях и часто с большим отрывом. Кроме того, мы проводим всесторонние эмпирические исследования, чтобы изучить влияние различных элементов проектирования моделей LTSF на их способность извлекать временные связи. Мы надеемся, что этот неожиданный вывод откроет новые направления исследований в задаче LTSF. В будущем мы также предлагаем пересмотреть обоснованность решений на основе трансформеров для других задач анализа временных рядов (например, обнаружение аномалий).
Key Findings
1
Введён простой набор одномерных линейных моделей (LTSF-Linear) в качестве эталона для задачи долгосрочного прогнозирования временных рядов.
2
Комплексные эмпирические исследования показали, что разные элементы дизайна LTSF-моделей влияют на их способность извлекать временные отношения.
3
На девяти реальных наборах данных LTSF-Linear превосходит существующие сложные Transformer-модели для LTSF во всех случаях, часто с большим отрывом.
4
Результаты ставят под сомнение применимость Transformer-решений для LTSF и предлагают пересмотреть их использование для других задач анализа временных рядов (например, обнаружение аномалий).
5
Модели Transformer для LTSF могут терять временную информацию из-за перестановочно-инвариантного механизма self-attention, несмотря на позиционные кодировки и токен-эмбеддинги.
Research Object
Модели долгосрочного прогнозирования временных рядов (LTSF) и наборы данных
Research Subject
Эффективность моделей на основе Transformer по сравнению с простыми однослойными линейными моделями (LTSF-Linear) в извлечении временных зависимостей и в качестве прогнозирования для задач долгосрочного прогнозирования временных рядов, включая влияние элементoв проектирования моделей на способность извлекать временные отношения
Publication Details
Publication Date
2023-06-26
Journal
Publisher
ISSN
Cited by
4242
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Greedy function approximation: A gradient boosting machine.2001
Нейронный машинный перевод посредством совместного обучения выравниванию и переводу2014
Informer: эффективный трансформер для прогнозирования временных рядов большой длины и дальнейшее развитие этого подхода2021
Трансформеры во временных рядах: обзор2023
Прогнозирование цены акций с использованием модели ARIMA2014
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью4
Трансформеры во временных рядах: обзор2023
Пространственно-временные графовые нейронные сети для предиктивного обучения в городской информатике: обзор2023
Комплексный обзор глубокого обучения для прогнозирования временных рядов: архитектурное разнообразие и нерешённые проблемы2025
Усовершенствованный метод прогнозирования качества воздуха на основе интеграции разложения на моды признаков и многослойной пластичной сети с эхосостоянием2026