LoFTR: локальное сопоставление признаков без детектора с использованием трансформеров

Мы представляем новый метод для локального сопоставления признаков изображений. Вместо последовательного выполнения детектирования признаков, их описания и сопоставления мы предлагаем сначала устанавливать поксельно-плотные соответствия на грубом уровне, а затем уточнять хорошие соответствия на тонком уровне. В отличие от плотных методов, использующих cost volume для поиска соответствий, мы применяем слои self- и cross-attention в трансформере для получения дескрипторов признаков, обусловленных обеими изображениями. Глобальное рецептивное поле, обеспечиваемое трансформером, позволяет нашему методу получать плотные соответствия в зонах с низкой текстурой, где детекторы признаков обычно испытывают затруднения с получением воспроизводимых ключевых точек. Эксперименты на внутренних и уличных наборах данных показывают, что LoFTR существенно превосходит современные методы. LoFTR также занимает первое место среди опубликованных методов на двух публичных бенчмарках визуальной локализации. Код доступен на странице проекта: https://zju3dv.github.io/loftr/.