Transformer in Transformer

Transformer — новый тип нейронной архитектуры, который кодирует входные данные в мощные признаки с помощью механизма внимания. Визуальные трансформеры в основном сначала делят входные изображения на несколько локальных патчей, а затем вычисляют как представления, так и отношения между ними. Поскольку натуральные изображения обладают высокой сложностью с большим количеством деталей и цветовой информации, крупность разбиения на патчи недостаточно тонкая для извлечения признаков объектов на разных масштабах и в разных местах. В этой статье мы указываем, что внимание внутри этих локальных патчей также важно для построения визуальных трансформеров с высокой производительностью, и исследуем новую архитектуру, называемую Transformer iN Transformer (TNT). Конкретно, мы рассматриваем локальные патчи (например, 16×16) как «визуальные предложения» и дополнительно делим их на более мелкие патчи (например, 4×4) как «визуальные слова». Внимание каждого слова вычисляется относительно других слов в данном визуальном предложении с пренебрежимо малыми вычислительными затратами. Признаки как слов, так и предложений агрегируются для усиления способности представления. Эксперименты на нескольких бенчмарках демонстрируют эффективность предложенной архитектуры TNT; например, мы достигаем 81.5% топ-1 точности на ImageNet, что примерно на 1.7% выше, чем у современных визуальных трансформеров с похожими вычислительными затратами. Код на PyTorch доступен по адресу https://github.com/huawei-noah/CV-Backbones, код на MindSpore доступен по адресу https://gitee.com/mindspore/models/tree/master/research/cv/TNT.