Согласование корреляций для дистилляции знаний

Большинство схем учитель‑ученик, основанных на дистилляции знаний (KD), опираются на жесткие ограничения согласованности на уровне отдельных экземпляров. Однако они часто игнорируют корреляции между множественными экземплярами, которые также ценны для передачи знаний. В данной работе мы предлагаем новую схему под названием согласование корреляций для дистилляции знаний (CCKD), которая передаёт не только информацию на уровне экземпляра, но и корреляции между экземплярами. Кроме того, предложен обобщённый ядерный метод на основе разложения в ряд Тейлора для лучшего захвата корреляций между экземплярами. Эмпирические эксперименты и исследования абляций на задачах классификации изображений (включая CIFAR-100 и ImageNet-1K) и задачах метрического обучения (включая person re-identification и распознавание лиц) показывают, что предложенный CCKD существенно превосходит исходный KD и другие современные методы на базе KD. CCKD легко внедряется в большинство схем учитель‑ученик, таких как KD и методы обучения с подсказками (hint-based).