Сравнительное исследование эмбеддингов DINOv2, I-JEPA и ViT для неконтролируемого обнаружения аномалий

В статье представлен унифицированный неконтролируемый фреймворк для визуального обнаружения аномалий (Visual Anomaly Detection, VAD) в динамических сценах с фиксированной камерой с использованием современных Vision Transformer (ViT) без дополнительной донастройки. Исследуется, достаточно ли эмбеддингов от бэкбонов, таких как общий ViT, DINOv2 и I-JEPA, в сочетании с простым подходом кластеризации для выявления аномалий. Наша методология извлекает как глобальные эмбеддинги (CLS-токен), так и локальные эмбеддинги (на уровне патчей), применяет кластеризацию (k-Means, HDBSCAN) для моделирования распределения нормальных сцен и использует масштабируемую векторную базу данных (ChromaDB) для эффективного поиска по сходству. Три бэкбона показали сопоставимую производительность, при этом общий ViT продемонстрировал небольшое, но стабильное преимущество по сбалансированной точности. Локальные эмбеддинги дали прирост сбалансированной точности на 3%, однако их последовательная обработка заметно медленнее. Это ограничение можно смягчить за счет параллелизации, что потенциально приблизит их эффективность к эффективности глобальных эмбеддингов. Напротив, глобальные эмбеддинги обеспечивают сопоставимую производительность, при этом они примерно в 256 раз быстрее, что позволяет обрабатывать пакеты кадров из 15-секундных видеосегментов в режиме, близком к реальному времени. Кластеризация k-Means и предложенная стратегия извлечения оказались наиболее эффективными, обеспечив практический компромисс с сбалансированной точностью 82%. Эти результаты указывают на то, что эмбеддинги ViT эффективны для разделения нормальных и аномальных шаблонов. Локальные эмбеддинги, по-видимому, захватывают дополнительные и релевантные сведения, и мы ожидаем, что при незначительных изменениях в стратегии детектирования их можно будет дополнительно использовать для повышения качества обнаружения аномалий.