Обнаружение вне распределения в режиме zero-shot на основе предобученной модели CLIP

В задаче обнаружения вне распределения (OOD) образцы известных классов (также называемые классами внутри распределения) используются для обучения специального классификатора. При тестировании классификатор может (1) относить тестовые образцы известных классов к соответствующим классам и (2) обнаруживать образцы, которые не принадлежат ни одному из известных классов (то есть принадлежат неизвестным или OOD классам). В данной работе исследуется задача zero-shot обнаружения OOD, которая выполняет те же две задачи при тестировании, но не включает этапа обучения, за исключением использования заданных названий известных классов. Мы предлагаем новый, но простой метод (названный ZOC) для решения этой задачи. ZOC опирается на последние достижения в zero-shot классификации через мультимодальное представление. Сначала он расширяет предобученную языково-зрительную модель CLIP путём обучения генератора текстовых описаний изображений поверх CLIP. При тестировании расширенная модель генерирует кандидатные названия неизвестных классов для каждого тестового образца и вычисляет показатель уверенности на основе как названий известных классов, так и кандидатных названий неизвестных классов для zero-shot OOD обнаружения. Экспериментальные результаты на пяти эталонных наборах данных для OOD обнаружения показывают, что ZOC значительно превосходит базовые методы.