Сравнение Vision Transformers и сверточных нейронных сетей для классификации изображений: обзор литературы

Трансформеры — это модели, реализующие механизм самовнимания, который позволяет индивидуально взвешивать важность каждой части входных данных. Их применение в задачах классификации изображений по-прежнему несколько ограничено, поскольку исследователи традиционно выбирали сверточные нейронные сети для классификации изображений, тогда как трансформеры преимущественно использовались для задач обработки естественного языка (NLP). Поэтому в данной статье представлен обзор литературы, демонстрирующий различия между Vision Transformers (ViT) и сверточными нейронными сетями. Был рассмотрен современный уровень исследований, в которых обе архитектуры применялись для классификации изображений, а также предпринята попытка определить, какие факторы могут влиять на производительность этих двух архитектур глубокого обучения, с учетом используемых наборов данных, размера изображений, числа целевых классов в задачах классификации, аппаратного обеспечения, исследованных архитектур и достигнутых лучших результатов. Цель работы — определить, какая из архитектур лучше подходит для классификации изображений и в каких условиях. В статье также описывается важность механизма многоголового внимания для повышения производительности ViT при классификации изображений.