TPH-YOLOv5: Улучшенный YOLOv5 с трансформерной головой предсказания для обнаружения объектов на снимках с дронов

Обнаружение объектов на снимках с дронов — недавно ставшая популярной задача. Поскольку дроны летают на различных высотах, масштаб объектов сильно меняется, что затрудняет оптимизацию сетей. Кроме того, высокоскоростный полет на низкой высоте вызывает смазывание движением на плотно расположенных объектах, что усложняет их различение. Для решения обеих проблем мы предлагаем TPH-YOLOv5. На базе YOLOv5 мы добавляем дополнительную голову предсказания для детекции объектов разных масштабов. Затем мы заменяем исходные головы предсказания на Transformer Prediction Heads (TPH), чтобы использовать потенциал предсказания с помощью механизма самовнимания. Мы также интегрируем модуль внимания в сверточных блоках (CBAM) для выделения областей внимания в сценариях с плотными объектами. Для дальнейшего улучшения TPH-YOLOv5 мы применяем набор полезных стратегий, таких как аугментация данных, тестирование в нескольких масштабах, интеграция нескольких моделей и использование дополнительного классификатора. Широкие эксперименты на датасете VisDrone2021 показывают, что TPH-YOLOv5 демонстрирует хорошую производительность с впечатляющей интерпретируемостью в сценариях, снятых с дронов. На наборе DET-test-challenge AP TPH-YOLOv5 составляет 39.18%, что на 1.81% лучше по сравнению с предыдущим методом SOTA (DPNetV3). На конкурсе VisDrone 2021 TPH-YOLOv5 занял 5-е место и показывает результаты, сопоставимые с моделью, занявшей 1-е место (AP 39.43%). По сравнению с базовой моделью (YOLOv5) TPH-YOLOv5 улучшает результат примерно на 7%, что является обнадёживающим и конкурентоспособным.