Перенос обучения от синтетических к реальным LiDAR-точечным облакам для семантической сегментации

Перенос знаний от синтетических данных к реальным широко изучался для уменьшения затрат на разметку в различных задачах компьютерного зрения, таких как семантическая сегментация. Однако исследования сосредоточены на 2D-изображениях, и аналогичные работы по сегментации 3D-точечных облаков отстают из‑за отсутствия крупномасштабных синтетических наборов данных и эффективных методов переноса. Мы решаем эту проблему, собрав SynLiDAR — крупномасштабный синтетический набор данных LiDAR, содержащий покомпонентно размеченные точечные облака с точными геометрическими формами и широким набором семантических классов. SynLiDAR собран в нескольких виртуальных средах с богатыми сценами и планировками и включает более 19 миллиардов точек по 32 семантическим классам. Кроме того, мы разрабатываем PCT — новый транслятор точечных облаков, который эффективно уменьшает разрыв между синтетическими и реальными точечными облаками. В частности, мы разлагаем разрыв синтетического и реального на компоненту внешнего вида и компоненту разреженности и обрабатываем их отдельно, что значительно улучшает трансляцию точечных облаков. Мы провели обширные эксперименты в трёх сценариях переноса обучения: увеличение данных, полунеcупервизированная адаптация домена и неcупервизированная адаптация домена. Результаты показывают, что SynLiDAR представляет собой качественный источник данных для изучения 3D-переноса, а предложенный PCT последовательно обеспечивает превосходную трансляцию точечных облаков во всех трёх сценариях. Набор данных доступен по адресу https://github.com/xiaoaoran/SynLiDAR.