Alpha-CLIP: модель CLIP, фокусирующаяся там, где нужно

Contrastive Language–Image Pre-training (CLIP) играет ключевую роль в извлечении содержательной информации из изображений для различных задач. Он выравнивает текстовую и визуальную модальности для понимания всего изображения, включая детали, которые могут быть нерелевантны для конкретных задач. Однако для более точного понимания и контролируемого редактирования изображений важно фокусироваться на конкретных областях интереса, которые могут указывать человек или модели восприятия в виде точек, масок или прямоугольников. Для удовлетворения этой потребности мы представляем Alpha-CLIP — расширенную версию CLIP с дополнительным альфа-каналом, предлагающим области внимания, и дообученную на миллионах сконструированных пар «область RGBA — текст». Alpha-CLIP сохраняет способность CLIP к визуальному распознаванию и одновременно обеспечивает точный контроль над акцентом на содержимом изображения. Модель эффективна в разных задачах, включая, но не ограничиваясь, распознаванием в открытом мире, интеграцией с мультимодальными большими языковыми моделями и условной 2D/3D генерацией. Она обладает высоким потенциалом для использования в разнообразных задачах, связанных с изображениями. Код и модели проекта доступны по адресу https://aleafy.github.io/alpha-clip/.