TimesURL: самоконтролируемое контрастивное обучение для универсального представления временных рядов

Получение универсальных представлений временных рядов, применимых к различным задачам последующей обработки, является сложной, но полезной задачей для практических приложений. В последнее время исследователи попытались использовать успех самоконтролируемого контрастивного обучения (SSCL) в компьютерном зрении (CV) и обработке естественного языка (NLP) для представления временных рядов. Тем не менее, ввиду специфики временной структуры, опираясь исключительно на эмпирические практики из других областей, для временных рядов это может быть неэффективно и трудно адаптируется к множеству задач. С этой целью мы анализируем три компонента SSCL: (1) разработку методов аугментации для позитивных пар, (2) построение (жестких) негативных пар и (3) разработку функции потерь SSCL. Для (1) и (2) мы обнаруживаем, что неподходящая конструкция позитивных и негативных пар может ввести некорректные априорные предположения, которые не сохраняют временные свойства и не обеспечивают достаточную дискриминацию признаков. Для (3) простое исследование семантики на уровне сегмента или экземпляра недостаточно для обучения универсального представления. Чтобы устранить указанные проблемы, мы предлагаем новую самоконтролируемую архитектуру под названием TimesURL. В частности, мы сначала вводим частотно-временную аугментацию, сохраняющую временные свойства. Затем мы строим «двойные Универсума» как специальный тип жесткого негатива для более эффективного контрастивного обучения. Дополнительно мы вводим реконструкцию времени в качестве совместной оптимизационной цели вместе с контрастивным обучением, чтобы захватить как сегментную, так и экземплярную информацию. В результате TimesURL может обучать высококачественные универсальные представления и демонстрирует состояние искусства в шести различных задачах последующей обработки, включая краткосрочное и долгосрочное прогнозирование, заполнение пропусков (imputation), классификацию, обнаружение аномалий и перенос обучения.