MS-TCT: Многомасштабный временной ConvTransformer для обнаружения действий

Обнаружение действий — важная и сложная задача, особенно в плотно размеченных наборах данных неусеченных видео. Такие данные содержат сложные временные взаимосвязи, включая составные или одновременно происходящие действия. Для обнаружения действий в этих сложных условиях критически важно эффективно захватывать как краткосрочную, так и долгосрочную временную информацию. В этой связи мы предлагаем новую сеть ConvTransformer для обнаружения действий: MS-TCT1 1. Код/Модели: https://github.com/dairui01/MS-TCT. Сеть состоит из трех основных компонентов: (1) модуля Temporal Encoder, который исследует глобальные и локальные временные взаимосвязи на нескольких временных разрешениях, (2) модуля Temporal Scale Mixer, который эффективно объединяет многомасштабные признаки, создавая унифицированное представление признаков, и (3) модуля классификации, который обучается предсказывать положение относительно центра каждого экземпляра действия во времени и выдавать покадровые предсказания классов. Наши экспериментальные результаты на нескольких сложных наборах данных, таких как Charades, TSU и MultiTHUMOS, подтверждают эффективность предложенного метода, который превосходит современные методы по всем трем наборам данных.