Трансформер для неоднородных графов

В последние годы графовые нейронные сети (GNN) продемонстрировали значительные успехи в моделировании структурированных данных. Однако большинство GNN разработаны для однородных графов, в которых все узлы и рёбра относятся к одним и тем же типам, что делает невозможным представление неоднородных структур. В этой работе мы представляем архитектуру трансформера для неоднородных графов (Heterogeneous Graph Transformer, HGT) для моделирования неоднородных графов веб-масштаба. Для моделирования неоднородности мы разрабатываем параметры, зависящие от типов узлов и рёбер, чтобы характеризовать неоднородное внимание на каждом ребре, благодаря чему HGT может поддерживать специализированные представления для различных типов узлов и рёбер. Для обработки графовых данных веб-масштаба мы разрабатываем алгоритм выборки неоднородных графов мини-пакетами — HGSampling — для эффективного и масштабируемого обучения. Масштабные эксперименты на Open Academic Graph, содержащем 179 миллионов узлов и 2 миллиарда рёбер, показывают, что предложенная модель HGT стабильно превосходит все современные базовые модели GNN на 9–21 в различных последующих задачах. Набор данных и исходный код HGT находятся в открытом доступе по адресу https://github.com/acbull/pyHGT.