Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе

Хотя архитектура Transformer стала де-факто стандартом для задач обработки естественного языка, её приложения в компьютерном зрении остаются ограниченными. В задачах зрения механизм внимания либо применяется совместно с сверточными нейронными сетями (CNN), либо используется для замены отдельных компонентов CNN при сохранении их общей структуры. Мы показываем, что такая зависимость от CNN не обязательна: чистый трансформер, применённый напрямую к последовательностям фрагментов (патчей) изображения, может показывать очень хорошие результаты в задачах классификации изображений. При предварительном обучении на больших объёмах данных и переносе на несколько средних или небольших бенчмарков по распознаванию изображений (ImageNet, CIFAR-100, VTAB и др.) Vision Transformer (ViT) достигает выдающихся результатов по сравнению с современными сверточными сетями при заметно меньших вычислительных затратах на обучение.