Эффективны ли трансформеры для прогнозирования временных рядов?

В последнее время наблюдается всплеск решений на основе трансформеров для задачи долгосрочного прогнозирования временных рядов (LTSF). Несмотря на растущие показатели за последние годы, в данной работе мы ставим под сомнение обоснованность этого направления исследований. В частности, трансформеры, по существу, являются наиболее успешным решением для извлечения семантических корреляций между элементами длинной последовательности. Однако при моделировании временных рядов необходимо извлекать временные связи в упорядоченном множестве непрерывных точек. Хотя использование позиционного кодирования и токенов для встраивания подсерий в трансформерах помогает сохранить некоторую информацию о порядке, пермутационно-инвариантный механизм self-attention неизбежно приводит к потере временной информации. Чтобы подтвердить наше утверждение, мы представляем набор предельно простых однослойных линейных моделей под названием LTSF-Linear для сравнения. Экспериментальные результаты на девяти реальных наборах данных показывают, что LTSF-Linear неожиданно превосходит существующие сложные модели LTSF на основе трансформеров во всех случаях и часто с большим отрывом. Кроме того, мы проводим всесторонние эмпирические исследования, чтобы изучить влияние различных элементов проектирования моделей LTSF на их способность извлекать временные связи. Мы надеемся, что этот неожиданный вывод откроет новые направления исследований в задаче LTSF. В будущем мы также предлагаем пересмотреть обоснованность решений на основе трансформеров для других задач анализа временных рядов (например, обнаружение аномалий).