Беги, не иди: в поисках более высокой FLOPS для более быстрых нейронных сетей

Для создания быстрых нейронных сетей многие работы сосредоточены на сокращении числа операций с плавающей запятой (FLOPs). Мы отмечаем, что такое снижение FLOPs не обязательно приводит к аналогичному снижению задержки. Это в основном связано с неэффективно низкой скоростью выполнения операций с плавающей запятой в секунду (FLOPS). Чтобы добиться более быстрых сетей, мы пересматриваем популярные операторы и демонстрируем, что низкие FLOPS обусловлены частым доступом к памяти операторов, особенно глубинной свёртки (depthwise convolution). Мы предлагаем новый частичный свёрточный оператор (PConv), который извлекает пространственные признаки более эффективно, одновременно сокращая избыточные вычисления и обращения к памяти. На основе PConv мы далее предлагаем FasterNet — новое семейство нейронных сетей, которое достигает существенно большей скорости работы по широкому кругу устройств, не уступая в точности для различных задач компьютерного зрения. Например, на ImageNet-1k наш миниатюрный FasterNet-T0 в 2.8×, 3.3× и 2.4× быстрее MobileViT-XXS на GPU, CPU и ARM-процессорах соответственно, при этом на 2.9% точнее. Наш большой FasterNet-L демонстрирует впечатляющие 83.5% top-1 точности, сопоставимые с развивающейся Swin-B, при этом обеспечивая на 36% большую пропускную способность при инференсе на GPU и экономя 37% времени вычислений на CPU. Код доступен по адресу https://github.com/JierunChen/FasterNet.