Сети ковариационных метрик на основе согласованности распределений для обучения при малом числе образцов

Обучение при малом числе образцов (few-shot learning) направлено на распознавание новых концепций по очень небольшому числу примеров. Однако большинство существующих методов few-shot обучения в основном сосредоточены на первом порядке статистики представления концепции или на фиксированной метрике для соотношения между образцом и концепцией. В данной работе мы предлагаем новую энд-то-энд глубокую архитектуру, названную Covariance Metric Networks (CovaMNet). CovaMNet разработана для использования как ковариационного представления, так и ковариационной метрики, основанной на согласованности распределений, для задач классификации при малом числе образцов. В частности, мы строим вложенное локальное ковариационное представление для извлечения информации второго порядка статистики каждой концепции и описания её базового распределения. На основе ковариационного представления мы дополнительно определяем новую глубокую ковариационную метрику для измерения согласованности распределений между запросными образцами и новыми концепциями. Кроме того, мы используем эпизодический механизм обучения для обучения всей сети энд-то-энд с нуля. Обширные эксперименты по двум задачам — общей классификации изображений при малом числе образцов и тонкой (fine-grained) классификации изображений при малом числе образцов — демонстрируют превосходство предлагаемой CovaMNet. Исходный код доступен по адресу https://github.com/WenbinLee/CovaMNet.git.