Механизмы внимания в компьютерном зрении: обзор
Attention mechanisms in computer vision: A survey
2022-03-15
SCID: 54.1/x26sq9wq
Discuss with AI
механизмы вниманияканальное вниманиекомпьютерное зрениепространственное вниманиевременное внимание
Figures from the paper
Abstract (AI)
Человек способен естественным образом и эффективно выявлять значимые области в сложных сценах. Под влиянием этого наблюдения механизмы внимания были внедрены в компьютерное зрение с целью имитации данного аспекта зрительной системы человека. Такой механизм внимания можно рассматривать как динамический процесс корректировки весов на основе признаков входного изображения. Механизмы внимания достигли значительных успехов во многих задачах компьютерного зрения, включая классификацию изображений, обнаружение объектов, семантическую сегментацию, анализ видео, генерацию изображений, трёхмерное зрение, мультимодальные задачи и обучение с самоконтролем. В этом обзоре представлен всесторонний анализ различных механизмов внимания в компьютерном зрении; они классифицированы по подходу, включая внимание по каналам, пространственное, временное и ветвевое внимание. Для сбора соответствующих работ создан репозиторий: https://github.com/MenghaoGuo/Awesome-Vision-Attentions. Кроме того, предложены перспективные направления дальнейших исследований механизмов внимания.
Key Findings
1
Механизмы внимания динамически регулируют веса признаков в зависимости от характеристик входного изображения, моделируя фокус человеческой зрительной системы на значимых областях.
2
Механизмы внимания продемонстрировали значительный успех в классификации изображений, обнаружении объектов, семантической сегментации, анализе видео, генерации изображений, 3D-зрении, мультимодальных задачах и самоконтролируемом обучении.
3
Статья предоставляет специализированный репозиторий работ по механизмам внимания в компьютерном зрении и определяет перспективные направления дальнейших исследований.
4
В обзоре всесторонне рассматриваются механизмы внимания в компьютерном зрении и выделяются категории канального, пространственного, временного и ветвевого внимания.
Research Object
Механизмы внимания в компьютерном зрении
Research Subject
Их подходы, категории и применения в различных задачах компьютерного зрения, включая динамическую корректировку весов признаков и перспективные направления дальнейших исследований
Publication Details
Publication Date
2022-03-15
Journal
Publisher
ISSN
Cited by
2753
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
Глубокое остаточное обучение для распознавания изображений2016
ImageNet: крупномасштабная иерархическая база изображений2009
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Нейронный машинный перевод посредством совместного обучения выравниванию и переводу2014
Агрегированные остаточные преобразования для глубоких нейронных сетей2017
Труды 24-й Международной конференции по машинному обучению2007
Нелокальные нейронные сети2018
ECA-Net: Эффективное канальное внимание для глубоких сверточных нейронных сетей2020
Появляющиеся свойства самоконтролируемых Vision Transformer2021
Pyramid Vision Transformer: универсальный бэкоун для плотного предсказания без свёрток2021
SegFormer: простая и эффективная архитектура для семантической сегментации с использованием трансформеров2021
Переосмысление семантической сегментации с точки зрения sequence-to-sequence на основе трансформеров2021
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Point Transformer2021
Механизм самовнимания с представлениями относительных позиций2018
Tokens-to-Token ViT: обучение визуальных трансформеров с нуля на ImageNet2021
Предобученный трансформер для обработки изображений2021
Эмпирическое исследование обучения самоконтролируемых Vision Transformer2021
Transformer in Transformer2021
Adam: метод стохастической оптимизации2021