Масштабирование Vision Transformer

Нейронные сети на основе внимания, такие как Vision Transformer (ViT), недавно достигли передовых результатов по многим бенчмаркам компьютерного зрения. Масштаб является ключевым фактором для достижения выдающихся результатов; поэтому понимание свойств масштабирования модели важно для эффективного проектирования следующих поколений. В то время как законы масштабирования трансформеров для языковых моделей изучены, неизвестно, как масштабируются Vision Transformer. Чтобы выяснить это, мы масштабируем модели ViT и данные как вверх, так и вниз, и характеризуем взаимосвязи между уровнем ошибки, объёмом данных и вычислительными ресурсами. По ходу работы мы улучшаем архитектуру и обучение ViT, снижая потребление памяти и повышая точность получаемых моделей. В результате нам удалось обучить модель ViT с двумя миллиардами параметров, которая устанавливает новый рекорд на ImageNet — 90.45% top-1 точности. Модель также показывает хорошие результаты при few-shot переносе, например, достигая 84.86% top-1 точности на ImageNet при всего 10 примерах на класс.