Обрезка каналов для ускорения очень глубоких нейронных сетей

В этой работе мы предлагаем новый метод обрезки каналов для ускорения очень глубоких сверточных нейронных сетей. Для обученной модели CNN мы предлагаем итеративный двухэтапный алгоритм эффективной обрезки каждого слоя на основе выбора каналов с помощью регрессии LASSO и реконструкции по методу наименьших квадратов. Мы далее обобщаем этот алгоритм на многослойные и многоветвевые случаи. Наш метод уменьшает накопленную ошибку и повышает совместимость с различными архитектурами. Обрезанная VGG-16 демонстрирует передовые результаты: ускорение в 5× при увеличении ошибки всего на 0.3%. Что более важно, наш метод способен ускорить современные сети, такие как ResNet и Xception, с потерей точности лишь 1.4% и 1.0% при ускорении в 2× соответственно, что имеет существенное значение. Код опубликован в открытом доступе.