Трансформеры во временных рядах: обзор

Трансформеры продемонстрировали превосходные результаты во многих задачах обработки естественного языка и компьютерного зрения, что вызвало большой интерес в сообществе, работающем с временными рядами. Среди множества преимуществ трансформеров особенно привлекает способность захватывать дальние зависимости и взаимодействия, что важно для моделирования временных рядов и привело к значительному прогрессу в различных приложениях временных рядов. В этой статье мы систематически рассматриваем схемы трансформеров для моделирования временных рядов, выделяя их сильные стороны и ограничения. В частности, мы анализируем развитие трансформеров для временных рядов с двух точек зрения. С точки зрения структуры сети мы суммируем адаптации и модификации, внесённые в трансформеры для учета особенностей анализа временных рядов. С точки зрения приложений мы классифицируем трансформеры для временных рядов на основе общих задач, включая прогнозирование, обнаружение аномалий и классификацию. Эмпирически мы проводим анализ устойчивости, анализ размера моделей и анализ сезонно-трендовой декомпозиции, чтобы изучить, как трансформеры работают на временных рядах. Наконец, мы обсуждаем и предлагаем направления для будущих исследований, чтобы обеспечить полезные рекомендации.