Билинейные модели CNN для точной (fine-grained) визуальной классификации

Мы предлагаем билинейные модели — архитектуру распознавания, состоящую из двух извлекателей признаков, выходы которых перемножаются с помощью внешнего произведения в каждой позиции изображения и агрегируются (пулингуются) для получения описателя изображения. Такая архитектура может моделировать локальные попарные взаимодействия признаков с инвариантностью к сдвигам, что особенно полезно для точной (fine-grained) категоризации. Она также обобщает различные беспорядочные текстурные дескрипторы, такие как Fisher Vector, VLAD и O2P. Мы приводим эксперименты с билинейными моделями, где извлекатели признаков основаны на сверточных нейронных сетях. Билинейная форма упрощает вычисление градиентов и позволяет обучать обе сети в режиме end-to-end, используя только метки изображений. Используя сети, инициализированные по набору ImageNet с последующим дообучением на целевой области, мы достигаем точности 84.1% на наборе CUB-200-2011, требуя на этапе обучения лишь меток категорий. Мы приводим эксперименты и визуализации, анализирующие влияние дообучения и выбора двух сетей на скорость и точность моделей. Результаты показывают, что архитектура выгодно сравнивается с существующим состоянием искусства на ряде наборов для тонкой классификации, при этом будучи существенно проще и легче в обучении. Более того, наша наиболее точная модель достаточно эффективна и работает с частотой 8 кадров/с на GPU NVIDIA Tesla K40. Исходный код полной системы будет доступен по адресу http://vis-www.cs.umass.edu/bcnn.