Появляющиеся свойства в самообучающихся Vision Transformer

В настоящей статье мы исследуем, придаёт ли самообучение (self-supervised learning) признакам Vision Transformer (ViT) свойства, отличающие их от сверточных сетей (convnets). Помимо того, что адаптация методов самообучения к этой архитектуре работает особенно хорошо, мы делаем следующие наблюдения: во‑первых, признаки самообучающегося ViT содержат явную информацию о семантической сегментации изображения, что проявляется не так явно для обученных с учителем ViT и для сверточных сетей; во‑вторых, эти признаки также превосходны в качестве k‑NN (k‑nearest neighbors) классификаторов, достигая 78.3% top-1 на ImageNet с маленьким ViT; в‑третьих, для этих эффектов важны momentum encoder, multi-crop обучение и использование маленьких патчей в ViT. Мы реализуем эти выводы в простом методе самообучения под названием DINO, который интерпретируем как форму самодистилляции без меток, и демонстрируем синергию между DINO и ViT, добившись 80.1% top-1 на ImageNet в линейной оценке с ViT-Base.