Обнаружение изменений на дистанционно зондируемых изображениях с использованием трансформеров

Remote Sensing Image Change Detection With Transformers
Zhenwei Shi, Hao Chen, Hao Chen, Zipeng Qi, Zhenwei Shi, Zipeng Qi
2021-07-20

двухвременной трансформер изображений (BIT)дифференцирование глубоких признаковнелокальное самовниманиеобнаружение изменений дистанционного зондированиятокен-основанное пространственно-временное моделирование
Современные методы обнаружения изменений (CD) добились значительных успехов благодаря мощной дискриминационной способности глубоких сверточных сетей. Тем не менее обнаружение изменений в высокоразрешённых данных дистанционного зондирования остаётся сложной задачей из-за сложности объектов на сцене: объекты с одинаковой семантической категорией могут демонстрировать разные спектральные характеристики в разное время и в разных пространственных положениях. Большинство современных конвейерных CD-методов, использующих только свёртки, по-прежнему испытывают трудности при установлении пространственно-временных долгосрочных связей. Нелокальные подходы с самовниманием показывают многообещающую производительность за счёт моделирования плотных отношений между пикселями, однако они вычислительно неэффективны. В этой работе мы предлагаем битеporalный имидж-трансформер (BIT) для эффективного и результативного моделирования контекстов в пространственно-временной области. Наша интуиция заключается в том, что высокоуровневые концепции интересующих изменений могут быть представлены несколькими визуальными словами, то есть семантическими токенами. Для этого мы представляем битеporalное изображение в виде небольшого числа токенов и используем энкодер трансформера для моделирования контекстов в компактном токен-ориентированном пространстве-времени. Полученные контекстно-насыщенные токены затем возвращаются в пространственно-пиксельное представление для уточнения исходных признаков с помощью декодера трансформера. Мы интегрируем BIT в основу фреймворка CD, основанного на разности глубоких признаков. Обширные эксперименты на трёх наборах данных по CD демонстрируют эффективность и вычислительную экономичность предложенного метода. В частности, наша модель на базе BIT значительно превосходит чисто сверточный базовый метод при примерно в три раза меньших вычислительных затратах и числе параметров. На простом бэкбоне (ResNet18) без сложных структур (например, feature pyramid network (FPN) и UNet) наша модель превосходит несколько современных методов CD, включая четыре недавних метода с вниманием, как по эффективности, так и по точности. Код доступен по адресу https://github.com/justchenhao/BIT_CD.
1
BIT работает в компактном токен-ориентированном пространстве-времени для обучения насыщенных контекстом токенов, которые возвращаются в пиксельное пространство для уточнения исходных признаков через трансформер-декодер.
2
Модель на основе BIT значительно превосходит чисто сверточную базовую модель при использовании в три раза меньших вычислительных затрат и меньшего числа параметров модели.
3
BIT внедрен в фреймворк обнаружения изменений на основе разницы глубоких признаков и продемонстрировал эффективность и эффективность на трех датасетах CD.
4
Предложен Bitemporal Image Transformer (BIT), который моделирует пространственно-временные контексты путем преобразования биталоровых изображений в несколько семантических токенов и использования трансформерного энкодер-декодерного конвейера.
5
С наивным бэкендом ResNet18 (без FPN или UNet) модель BIT превосходит несколько современных методов CD, включая четыре недавних метода с вниманием, по эффективности и точности.

Битетповые пары высокоразрешающих снимков дистанционного зондирования, используемые для обнаружения изменений

Моделирование и обнаружение семантических изменений с помощью токен-ориентированного битетпового трансформера (BIT), который кодирует компактные пространственно-временные контексты, уточняет пиксельные признаки через декодер трансформера и повышает точность и эффективность обнаружения изменений на основе различий глубоких признаков

Publication Details
Publication Date
2021-07-20
Journal
Publisher
ISSN
Cited by
1598
Access Type
Author Information
Authors
Zhenwei Shi
Hao Chen
Hao Chen
Zipeng Qi
Zhenwei Shi
Zipeng Qi
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%