Сеть временных свёрток с самовниманием для обнаружения долгосрочной активности в повседневной жизни

В данной статье рассматривается задача обнаружения действий повседневной жизни в долгосрочных непредсказуемых (untrimmed) видеозаписях. Обнаружение таких действий затруднено из-за их длительных временных компонент, низкой межклассовой вариативности и высокой внутриклассовой вариативности. Для решения этих задач были предложены подходы на основе сетей временных свёрток (Temporal Convolutional Networks, TCN). Такие методы способны захватывать долгосрочные временные паттерны с помощью иерархии временных свёрточных фильтров, операций пулинга и повторной выборки (up sampling). Однако, как одна из ключевых особенностей свёрточных сетей, TCN обрабатывают локальное соседство по времени, что делает моделирование дальних зависимостей между этими временными паттернами видео неэффективным. В этой работе мы предлагаем Self-Attention - Temporal Convolutional Network (SA-TCN), способную захватывать как сложные паттерны активности, так и их зависимости в долгосрочных непредсказуемых видеозаписях. Мы оцениваем предлагаемую модель на наборах данных DAily Home LIfe Activity Dataset (DAHLIA) и Breakfast. Предложенный метод демонстрирует современное (state-of-the-art) качество на наборах данных DAHLIA и Breakfast.