Механизмы внимания в компьютерном зрении: обзор

Человек способен естественным образом и эффективно выявлять значимые области в сложных сценах. Под влиянием этого наблюдения механизмы внимания были внедрены в компьютерное зрение с целью имитации данного аспекта зрительной системы человека. Такой механизм внимания можно рассматривать как динамический процесс корректировки весов на основе признаков входного изображения. Механизмы внимания достигли значительных успехов во многих задачах компьютерного зрения, включая классификацию изображений, обнаружение объектов, семантическую сегментацию, анализ видео, генерацию изображений, трёхмерное зрение, мультимодальные задачи и обучение с самоконтролем. В этом обзоре представлен всесторонний анализ различных механизмов внимания в компьютерном зрении; они классифицированы по подходу, включая внимание по каналам, пространственное, временное и ветвевое внимание. Для сбора соответствующих работ создан репозиторий: https://github.com/MenghaoGuo/Awesome-Vision-Attentions. Кроме того, предложены перспективные направления дальнейших исследований механизмов внимания.