Спектрально-пространственная трансформерная сеть для классификации гиперспектральных изображений: факторизованная схема поиска архитектуры

Нейронные сети доминируют в исследованиях классификации гиперспектральных изображений благодаря способности сверточных операций к извлечению признаков. Однако фиксированная геометрическая структура сверточных ядер препятствует дальнему взаимодействию между признаками из удалённых областей. В статье предлагается новая спектрально-пространственная трансформерная сеть (SSTN), состоящая из модуля пространственного внимания и модуля спектральных ассоциаций, чтобы преодолеть ограничения сверточных ядер. Также разработана факторизованная схема поиска архитектуры (FAS), включающая два независимых подпроцедуры для определения выбора операций на уровне слоёв и порядка блоков SSTN. В отличие от традиционного поиска архитектуры нейронных сетей (NAS), который требует bilevel-оптимизации как параметров сети, так и настроек архитектуры, FAS сосредоточен только на поиске оптимальных настроек архитектуры, что обеспечивает стабильный и быстрый поиск. Обширные эксперименты на пяти популярных бенчмарках HSI демонстрируют универсальность SSTN по сравнению с другими методами современного уровня (SOTA) и обосновывают стратегию FAS. На наборе данных University of Houston SSTN достигает сопоставимой общей точности с методами SOTA, используя небольшую долю операций умножения-аккумуляции (1.2%) по сравнению соstrong базовой спектрально-пространственной резидуальной сетью (SSRN). Что особенно важно, SSTN превосходят другие сети SOTA, используя лишь 1.2% или меньше MACs от SSRN на наборах данных Indian Pines, Kennedy Space Center, University of Pavia и Pavia Center.