Динамическая графовая сверточная нейронная сеть для обучения на облаках точек

Облака точек обеспечивают гибкое геометрическое представление, подходящее для бесчисленного множества приложений в компьютерной графике; кроме того, они являются исходными данными большинства устройств сбора трехмерных данных. Хотя в графике и компьютерном зрении давно используются разработанные вручную признаки для облаков точек, недавний впечатляющий успех сверточных нейронных сетей (CNN) в анализе изображений свидетельствует о целесообразности адаптации идей CNN к области облаков точек. Облакам точек изначально недостает топологической информации, поэтому разработка модели для восстановления топологии может повысить их выразительную способность. Для этого мы предлагаем новый модуль нейронной сети, названный EdgeConv, предназначенный для решения высокоуровневых задач на основе CNN с облаками точек, включая классификацию и сегментацию. EdgeConv работает с графами, динамически вычисляемыми на каждом слое сети. Он является дифференцируемым и может быть встроен в существующие архитектуры. По сравнению с существующими модулями, работающими во внешнем пространстве или рассматривающими каждую точку независимо, EdgeConv обладает рядом важных свойств: он учитывает информацию о локальном окружении; его можно применять последовательно в нескольких слоях для обучения глобальным свойствам формы; а в многослойных системах близость в пространстве признаков позволяет выявлять семантические характеристики на потенциально больших расстояниях в исходном пространстве вложения. Мы демонстрируем эффективность нашей модели на стандартных тестовых наборах, включая ModelNet40, ShapeNetPart и S3DIS.