Обнаружение изменений на дистанционно зондируемых изображениях с использованием трансформеров

Современные методы обнаружения изменений (CD) добились значительных успехов благодаря мощной дискриминационной способности глубоких сверточных сетей. Тем не менее обнаружение изменений в высокоразрешённых данных дистанционного зондирования остаётся сложной задачей из-за сложности объектов на сцене: объекты с одинаковой семантической категорией могут демонстрировать разные спектральные характеристики в разное время и в разных пространственных положениях. Большинство современных конвейерных CD-методов, использующих только свёртки, по-прежнему испытывают трудности при установлении пространственно-временных долгосрочных связей. Нелокальные подходы с самовниманием показывают многообещающую производительность за счёт моделирования плотных отношений между пикселями, однако они вычислительно неэффективны. В этой работе мы предлагаем битеporalный имидж-трансформер (BIT) для эффективного и результативного моделирования контекстов в пространственно-временной области. Наша интуиция заключается в том, что высокоуровневые концепции интересующих изменений могут быть представлены несколькими визуальными словами, то есть семантическими токенами. Для этого мы представляем битеporalное изображение в виде небольшого числа токенов и используем энкодер трансформера для моделирования контекстов в компактном токен-ориентированном пространстве-времени. Полученные контекстно-насыщенные токены затем возвращаются в пространственно-пиксельное представление для уточнения исходных признаков с помощью декодера трансформера. Мы интегрируем BIT в основу фреймворка CD, основанного на разности глубоких признаков. Обширные эксперименты на трёх наборах данных по CD демонстрируют эффективность и вычислительную экономичность предложенного метода. В частности, наша модель на базе BIT значительно превосходит чисто сверточный базовый метод при примерно в три раза меньших вычислительных затратах и числе параметров. На простом бэкбоне (ResNet18) без сложных структур (например, feature pyramid network (FPN) и UNet) наша модель превосходит несколько современных методов CD, включая четыре недавних метода с вниманием, как по эффективности, так и по точности. Код доступен по адресу https://github.com/justchenhao/BIT_CD.