Сеть временных свёрток с самовниманием для обнаружения долгосрочной активности в повседневной жизни

Self-Attention Temporal Convolutional Network for Long-Term Daily Living Activity Detection
Rui Dai, François Brémond, Luca Minciullo, Lorenzo Garattoni, Gianpiero Francesca, Francois Bremond
2019-09-01

набор данных DAHLIASA-TCNSelf-Attention Temporal Convolutional NetworkTemporal Convolutional Networksобнаружение повседневных действий в долгосрочных видео
В данной статье рассматривается задача обнаружения действий повседневной жизни в долгосрочных непредсказуемых (untrimmed) видеозаписях. Обнаружение таких действий затруднено из-за их длительных временных компонент, низкой межклассовой вариативности и высокой внутриклассовой вариативности. Для решения этих задач были предложены подходы на основе сетей временных свёрток (Temporal Convolutional Networks, TCN). Такие методы способны захватывать долгосрочные временные паттерны с помощью иерархии временных свёрточных фильтров, операций пулинга и повторной выборки (up sampling). Однако, как одна из ключевых особенностей свёрточных сетей, TCN обрабатывают локальное соседство по времени, что делает моделирование дальних зависимостей между этими временными паттернами видео неэффективным. В этой работе мы предлагаем Self-Attention - Temporal Convolutional Network (SA-TCN), способную захватывать как сложные паттерны активности, так и их зависимости в долгосрочных непредсказуемых видеозаписях. Мы оцениваем предлагаемую модель на наборах данных DAily Home LIfe Activity Dataset (DAHLIA) и Breakfast. Предложенный метод демонстрирует современное (state-of-the-art) качество на наборах данных DAHLIA и Breakfast.
1
Обнаружение повседневной активности в длинных нетриммированных видео затруднено из‑за больших временных длительностей, низкой межклассовой вариативности и высокой внутриклассовой вариативности.
2
SA-TCN оценивалась на наборах данных DAHLIA (DAily Home LIfe Activity) и Breakfast и достигает state-of-the-art результатов на обоих наборах.
3
Temporal Convolutional Networks (TCN) захватывают долгосрочные временные паттерны через иерархические временные свёртки, пулинг и апсемплинг, но неэффективны в моделировании дальних зависимостей из‑за обработки локальных временных окрестностей.
4
Предложена модель Self-Attention - Temporal Convolutional Network (SA-TCN), объединяющая self-attention и TCN для захвата сложных паттернов активности и их дальних зависимостей в длинных видео.

Долговременные нетриммированные видеозаписи повседневной деятельности (наборы данных DAHLIA и Breakfast)

Обнаружение повседневных действий, включая моделирование дальнодействующих временных зависимостей и сложных паттернов активности с помощью сети Self-Attention Temporal Convolutional Network (SA-TCN)

Publication Details
Publication Date
2019-09-01
Journal
Publisher
ISSN
Cited by
28
Access Type
Author Information
Authors
Rui Dai
François Brémond
Luca Minciullo
Lorenzo Garattoni
Gianpiero Francesca
Francois Bremond
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%