Обнаружение аномалий в видеозаписях с камер наблюдения в реальных условиях

Real-World Anomaly Detection in Surveillance Videos
Chen Chen, Mubarak A. Shah, Waqas Sultani, Chen Chen
2018-06-01

обучение с множественными экземплярамиобнаружение аномалий в реальных условияхвидео с камер наблюденияограничения временной гладкостислабо размеченные видео
Видеозаписи с камер наблюдения позволяют фиксировать разнообразные аномалии, характерные для реальных условий. В данной работе предлагается обучать модель обнаружению аномалий с использованием как нормальных, так и аномальных видеозаписей. Чтобы избежать разметки аномальных сегментов или клипов в обучающих видеозаписях, требующей значительных временных затрат, предлагается обучать модель обнаружению аномалий в рамках глубокой модели ранжирования с множественными экземплярами, используя обучающие видеозаписи со слабыми метками; то есть метки обучения (аномальная или нормальная) задаются на уровне видеозаписи, а не клипа. В предлагаемом подходе нормальные и аномальные видеозаписи рассматриваются как мешки, а сегменты видео — как экземпляры в обучении с множественными экземплярами (MIL); при этом автоматически обучается глубокая модель ранжирования аномалий, прогнозирующая высокие оценки аномальности для аномальных сегментов видео. Кроме того, в функцию потерь ранжирования вводятся ограничения разреженности и временной гладкости, что позволяет более точно локализовать аномалии в процессе обучения. Мы также представляем новый крупномасштабный набор данных, первый в своем роде, содержащий 128 часов видеозаписей. Он включает 1 900 длинных неразмеченных по фрагментам видеозаписей с камер наблюдения, снятых в реальных условиях, в которых представлены 13 реалистичных типов аномалий, таких как драки, дорожно-транспортные происшествия, кражи со взломом и грабежи, а также нормальные действия. Этот набор данных может использоваться для решения двух задач. Первая — общее обнаружение аномалий, при котором все аномалии рассматриваются как одна группа, а все нормальные действия — как другая. Вторая — распознавание каждого из 13 аномальных действий. Экспериментальные результаты показывают, что предложенный метод MIL для обнаружения аномалий обеспечивает значительное повышение эффективности по сравнению с современными методами. Мы приводим результаты нескольких недавно предложенных базовых методов глубокого обучения для распознавания аномальных действий. Низкая точность распознавания этих базовых методов свидетельствует о высокой сложности нашего набора данных и открывает дополнительные возможности для дальнейших исследований. Набор данных доступен по адресу: http://crcv.ucf.edu/projects/real-world.
1
Предложен глубокий метод ранжирования на основе обучения с множественными экземплярами, который оценивает аномалии по слабым меткам видео и не требует разметки аномальных фрагментов.
2
Нормальные и аномальные видео представлены как наборы, а сегменты видео — как экземпляры; ограничения разреженности и временной гладкости улучшают локализацию аномалий.
3
Представлен датасет объёмом 128 часов, включающий 1900 длинных неразмеченных по фрагментам видео наблюдения с 13 реалистичными типами аномалий и нормальными действиями.
4
Датасет поддерживает как общее обнаружение аномалий, так и распознавание отдельных типов аномальной активности.
5
Предложенный MIL-метод значительно превосходит современные методы обнаружения аномалий, тогда как базовые модели плохо распознают типы активности, что подтверждает сложность датасета.

видеозаписи реального видеонаблюдения, содержащие нормальные действия и 13 типов реалистичных аномалий

слабоконтролируемое обнаружение и локализация временных аномалий, включая ранжирование аномальности сегментов видео и распознавание аномальных действий

Publication Details
Publication Date
2018-06-01
Journal
Publisher
ISSN
Cited by
3006
Access Type
Author Information
Authors
Chen Chen
Mubarak A. Shah
Waqas Sultani
Chen Chen
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%