Масштабируемое распределённое перечисление подграфов
Scalable distributed subgraph enumeration
2016-11-01
SCID: 54.1/a4b74pn4
Discuss with AI
разветвлённые планы соединениясжатие кликраспределённое перечисление подграфовстепенное распределение степенейизоморфизм подграфов
Figures from the paper
Abstract (AI)
Перечисление подграфов направлено на поиск всех подграфов большого графа данных, изоморфных заданному графу-шаблону. Поскольку операция изоморфизма подграфов требует значительных вычислительных ресурсов, в последнее время исследователи сосредоточились на решении этой задачи в распределённых средах, таких как MapReduce и Pregel. Среди этих подходов современный алгоритм Twin TwigJoin был доказан как оптимальный для конкретного экземпляра на основе левоглубокой схемы соединения. Однако он по-прежнему плохо масштабируется для больших графов из-за ограничений левоглубокой схемы соединения и требования, чтобы каждая декомпозированная компонента (единица соединения) представляла собой звезду. В данной работе предлагается SEED — масштабируемый подход к перечислению подграфов в распределённой среде. По сравнению с Twin TwigJoin алгоритм SEED возвращает оптимальное решение в обобщённой схеме соединения без ограничений, присущих Twin TwigJoin. В качестве единиц соединения используются как звёзды, так и клики, а для поддержки такого расширения разработан эффективный механизм распределённого хранения графов. Разработана комплексная модель стоимости, оценивающая число соответствий для любого заданного графа-шаблона с учётом степенного распределения степеней вершин в графе данных. Затем левоглубокая схема соединения обобщается и разрабатывается алгоритм динамического программирования для вычисления оптимального кустистого плана соединения. Также учитываются перекрытия между единицами соединения. Наконец, предлагается сжатие клик для дальнейшего повышения эффективности алгоритма за счёт уменьшения числа промежуточных результатов. Проведено всестороннее исследование производительности на нескольких реальных графах, включая граф с миллиардами рёбер. Результаты показывают, что предложенный алгоритм превосходит все другие современные алгоритмы более чем на порядок величины.
Key Findings
1
Разработана стоимостная модель, оценивающая число совпадений шаблона с учётом степенного распределения степеней вершин в графах данных.
2
Метод динамического программирования вычисляет оптимальные кустистые планы соединений и учитывает перекрытия между единицами соединения.
3
Сжатие клик уменьшает объём промежуточных результатов; эксперименты на реальных графах, включая граф с миллиардами рёбер, показали ускорение более чем на порядок по сравнению с современными методами.
4
SEED достигает оптимального решения в обобщённой схеме соединений, используя звёздные и кликовые единицы соединения при поддержке распределённого хранения графа.
5
SEED — масштабируемый распределённый подход к перечислению подграфов, устраняющий ограничения левоглубокой схемы и звёздных единиц соединения Twin TwigJoin.
Research Object
Перечисление подграфов в больших графах данных в распределённых вычислительных средах
Research Subject
Масштабируемость и оптимизация производительности распределённого перечисления подграфов посредством обобщённого планирования соединений, моделирования стоимости и сокращения промежуточных результатов
Publication Details
Publication Date
2016-11-01
Journal
Publisher
ISSN
Access Type
Author Information
Download PDF
Subscribe to digest