STSyn-BEV: сегментация BEV с Surround-View фишай-камер посредством пространственно-временной синхронизации

Семантическая сегментация в виде обзора сверху (Bird’s-Eye-View, BEV) критична для восприятия окружающей среды в системах автономного вождения. Системы с круговым обзором на фишай-камерах всё чаще применяются для расширения зоны восприятия и устранения слепых зон. Однако сильные геометрические искажения и частые собственные движения платформы затрудняют точное пространственно-временное выравнивание признаков между несколькими видами и временными метками. Такое несоответствие часто приводит к семантической непоследовательности и значительному падению точности сегментации в BEV. Более того, большинство существующих методов игнорируют эти ошибки выравнивания и применяют семантическое обучение только к финальному выходу, что приводит к неоптимальным промежуточным BEV-представлениям. Для решения этих задач мы предлагаем STSyn-BEV — архитектуру для сегментации BEV с пространственно-временной синхронизацией для surround-view фишай-камер. Она включает три ключевых компонента: энкодер Pose-Sync (синхронизированный по позе), модуль семантического согласования и декодер со ступенчатым обучением и гетерогенными путями. Во-первых, энкодер Pose-Sync явно преобразует многоракурсные фишай-признаки из предыдущих поз и временных меток в единое BEV-пространство посредством геометрического преобразования, существенно улучшая геометрическую согласованность и временную синхронизацию. Во-вторых, модуль семантического согласования применяет контрастное обучение на уровне регионов к агрегированным BEV-признакам, усиливая семантическую различимость, особенно для редких (long-tailed) категорий. В-третьих, глубоко супервайзенный декодер использует гетерогенные пути — на основе внимания для глобального семантического вывода и на основе свёрток для тонкой структурной доработки — управляемые ступенчатым обучением, что позволяет улучшить декодирование BEV-признаков без дополнительных вычислительных затрат при инференсе. Обширные эксперименты на датасете FB-SSEM показывают, что STSyn-BEV превосходит современные методы сегментации BEV на основе фишай-изображений, в частности достигая улучшения mIoU на 6.25% по сравнению с лучшей фишай-специфичной базовой моделью.