Визуальные трансформеры для классификации изображений дистанционного зондирования

В данной статье предлагается метод классификации сцен дистанционного зондирования на основе визуальных трансформеров. Эти типы сетей, которые в настоящее время признаны моделями передового уровня в обработке естественного языка, не используют сверточные слои, как стандартные сверточные нейронные сети (CNN). Вместо этого в качестве основного структурного элемента они применяют механизмы многоголового внимания для выявления дальних контекстных взаимосвязей между пикселями изображений. На первом этапе анализируемые изображения разделяются на фрагменты, которые затем преобразуются в последовательность путем их выравнивания и встраивания. Для сохранения информации о положении к этим фрагментам добавляются позиционные встраивания. Полученная последовательность подается на несколько слоев многоголового внимания для формирования итогового представления. На этапе классификации первый токен последовательности подается на классификационный слой softmax. Для повышения эффективности классификации исследуются несколько стратегий аугментации данных с целью генерации дополнительных данных для обучения. Кроме того, экспериментально показано, что сеть можно сжать путем удаления половины слоев, сохранив сопоставимую точность классификации. Результаты экспериментов, проведенных на различных наборах данных изображений дистанционного зондирования, демонстрируют перспективность модели по сравнению с методами передового уровня. В частности, Vision Transformer обеспечивает среднюю точность классификации 98,49%, 95,86%, 95,56% и 93,83% на наборах данных Merced, AID, Optimal31 и NWPU соответственно. Сжатая версия, полученная путем удаления половины слоев многоголового внимания, обеспечивает показатели 97,90%, 94,27%, 95,30% и 93,05% соответственно.