Классификация видео в масштабе с помощью сверточных нейронных сетей

Сверточные нейронные сети (CNN) зарекомендовали себя как мощный класс моделей для задач распознавания изображений. Вдохновлённые этими результатами, мы проводим всестороннюю эмпирическую оценку CNN для крупномасштабной классификации видео, используя новый набор данных из 1 миллиона видео с YouTube, принадлежащих 487 классам. Мы изучаем несколько подходов к расширению связности CNN во временной области для использования локальной пространственно-временной информации и предлагаем мультиразрешающую, фовеированную архитектуру как перспективный способ ускорения обучения. Наши лучшие пространственно-временные сети демонстрируют значительные улучшения производительности по сравнению с сильными базовыми методами на основе признаков (55,3% против 63,9%), но лишь неожиданно скромное улучшение по сравнению с моделями на одиночных кадрах (59,3% против 60,9%). Мы также исследуем обобщающую способность нашей лучшей модели, дообучая верхние слои на датасете UCF-101 для распознавания действий, и наблюдаем значительные улучшения по сравнению с базовой моделью для UCF-101 (63,3% вместо 43,9%).