CLIP-ReID: Использование визуально-языковой модели для повторной идентификации изображений без конкретных текстовых меток

Предварительно обученные визуально-языковые модели, такие как CLIP, недавно продемонстрировали высокую эффективность в различных задачах (включая классификацию и сегментацию изображений). Однако в тонко гранулированной задаче повторной идентификации изображений (ReID) метки представлены индексами и не имеют конкретных текстовых описаний, поэтому остается вопрос, как применять такие модели в этих задачах. В первую очередь мы обнаружили, что простая дообучка визуальной модели, инициализированной кодером изображений CLIP, уже обеспечивает сопоставимые результаты на различных ReID задачах. Затем мы предлагаем двухэтапную стратегию для формирования более качественных визуальных представлений. Ключевая идея — полностью использовать кроссмодальную описательную способность CLIP посредством набора обучаемых текстовых токенов для каждого ID и подачи их в текстовый кодер для формирования неоднозначных описаний. На первом этапе обучения иммутабельными остаются кодеры изображений и текста из CLIP, а текстовые токены оптимизируются с нуля с использованием контрастивной потери, вычисляемой внутри батча. На втором этапе ID-специфичные текстовые токены и их кодер фиксируются и служат ограничением при дообучении кодера изображений. С помощью разработанной функции потерь для вспомогательной задачи кодер изображений учится точно представлять данные в виде векторов признакового пространства. Эффективность предложенной стратегии подтверждена на нескольких наборах данных для задач ReID людей и транспортных средств. Код доступен по адресу https://github.com/Syliz517/CLIP-ReID.