Vision Transformer с деформируемым вниманием

Трансформеры недавно продемонстрировали превосходные результаты в различных задачах компьютерного зрения. Большое, иногда даже глобальное, рецептивное поле наделяет модели Transformer большей представительной мощностью по сравнению с их сверточными аналогами. Тем не менее простое увеличение рецептивного поля вызывает ряд проблем. С одной стороны, использование плотного внимания (например, в ViT) приводит к чрезмерным затратам памяти и вычислений, и признаки могут подвергаться влиянию нерелевантных частей, выходящих за пределы областей интереса. С другой стороны, разреженное внимание, применяемое в PVT или Swin Transformer, не зависит от данных и может ограничивать способность моделировать дальние взаимосвязи. Чтобы смягчить эти проблемы, мы предлагаем новый модуль деформируемого самовнимания, в котором позиции пар ключей и значений в самовнимании выбираются зависимым от данных образом. Эта гибкая схема позволяет модулю самовнимания концентрироваться на релевантных областях и извлекать более информативные признаки. На этой основе мы представляем Deformable Attention Transformer — универсальную базовую модель с деформируемым вниманием для задач классификации изображений и плотного предсказания. Обширные эксперименты показывают, что наши модели последовательно демонстрируют улучшенные результаты на комплексных бенчмарках. Код доступен по адресу https://github.com/LeapLabTHU/DAT.