Informer: эффективный трансформер для прогнозирования временных рядов большой длины и дальнейшее развитие этого подхода

Во многих практических приложениях требуется прогнозирование временных рядов большой длины, например при планировании потребления электроэнергии. Прогнозирование временных рядов большой длины (Long Sequence Time-Series Forecasting, LSTF) предъявляет к модели высокие требования в отношении прогностической способности, то есть способности эффективно выявлять точные дальние зависимости между выходными и входными данными. Недавние исследования продемонстрировали потенциал трансформеров для повышения прогностической способности. Однако трансформеры имеют несколько серьезных ограничений, препятствующих их непосредственному применению к задаче LSTF, включая квадратичную временную сложность, высокое потребление памяти и inherentное ограничение архитектуры кодировщик–декодировщик. Для решения этих проблем мы разработали эффективную модель на основе трансформера для LSTF, названную Informer, обладающую тремя отличительными характеристиками: (i) механизмом самовнимания ProbSparse, обеспечивающим временную сложность и использование памяти O(L log L) при сопоставимой эффективности выравнивания зависимостей в последовательности; (ii) дистилляцией самовнимания, выделяющей доминирующие зависимости за счет уменьшения вдвое входных данных последующих слоев и эффективно обрабатывающей чрезвычайно длинные входные последовательности; и (iii) декодером генеративного типа, который, несмотря на концептуальную простоту, прогнозирует длинные временные последовательности за одну прямую операцию вместо пошагового режима, что значительно повышает скорость вывода при прогнозировании последовательностей большой длины. Масштабные эксперименты на четырех крупномасштабных наборах данных показывают, что Informer значительно превосходит существующие методы и предлагает новое решение задачи LSTF.