VGSG: Сеть с визуально-направленными семантическими группами для поиска людей по тексту

Поиска людей по текстовому описанию (Text-based Person Search, TBPS) направлен на извлечение изображений целевых пешеходов, указанных текстовыми описаниями. Для TBPS важно извлекать детализированные локальные признаки и выполнять их выравнивание между модальностями. Существующие методы используют внешние инструменты или тяжёлое кросс-модальное взаимодействие для явного выравнивания кросс-модальных тонких признаков, что неэффективно и трудоёмко. В данной работе предлагается Vision-Guided Semantic-Group Network (VGSG) для поиска людей по тексту с целью извлечения хорошо выровненных детализированных визуальных и текстовых признаков. В предложенном VGSG мы разрабатываем модуль Semantic-Group Textual Learning (SGTL) и модуль Vision-Guided Knowledge Transfer (VGKT) для извлечения локальных текстовых признаков под руководством визуальных локальных подсказок. В SGTL, чтобы получить локальное текстовое представление, мы группируем текстовые признаки по измерению каналов на основе семантических подсказок языкового выражения, что поощряет неявное группирование схожих семантических паттернов без внешних инструментов. В VGKT применяется визуально-направленное внимание для извлечения визуально-связанных текстовых признаков, которые по сути выровнены с визуальными подсказками и называются визуально-направленными текстовыми признаками. Кроме того, мы разрабатываем реляционный перенос знаний, включающий перенос сходства между визуальной и языковой модальностями и перенос вероятностей классов, чтобы адаптивно передавать информацию от визуально-направленных текстовых признаков к семантическим групповым текстовым признакам. С помощью реляционного переноса знаний VGKT способен выравнивать семантические групповые текстовые признаки с соответствующими визуальными признаками без внешних инструментов и сложного попарного взаимодействия. Экспериментальные результаты на двух сложных бенчмарках демонстрируют его превосходство над современными методами.