Эмпирическое исследование обучения самоконтролируемых Vision Transformer

В статье не описывается новый метод. Вместо этого рассматривается простой, инкрементальный, но обязательный к знакомству базовый подход с учётом недавнего прогресса в компьютерном зрении: самоконтролируемое (self-supervised) обучение для Vision Transformer (ViT). В то время как рецепты обучения для стандартных сверточных сетей стали зрелыми и устойчивыми, рецепты для ViT ещё не выработаны, особенно в сценариях самоконтролируемого обучения, где обучение становится более сложным. В этой работе мы возвращаемся к основам и исследуем влияние нескольких фундаментальных компонентов при обучении самоконтролируемых ViT. Мы наблюдаем, что нестабильность является основной проблемой, снижающей точность, и она может быть скрыта кажущимися хорошими результатами. Мы показываем, что эти результаты на самом деле являются частичным провалом и их можно улучшить при обеспечении большей устойчивости обучения. Мы приводим бенчмарки результатов ViT в MoCo v3 и в нескольких других фреймворках самоконтролируемого обучения с абляциями по разным аспектам. Мы обсуждаем текущие положительные свидетельства, а также проблемы и открытые вопросы. Мы надеемся, что эта работа предоставит полезные данные и опыт для будущих исследований.