Графовые сверточные нейронные сети для рекомендательных систем веб‑масштаба

Graph Convolutional Neural Networks for Web-Scale Recommender Systems
Jure Leskovec, Rex Ying, William L. Hamilton, Rex Ying, Ruining He, Kaifeng Chen, Pong Eksombatchai, William L. Hamilton, Jure Leskovec, Kaifeng Chen
2018-07-19

GCNГрафовая сверточная нейронная сетьинференс модели MapReduceграфовые сверткислучайные прогулки
Недавние достижения в области глубоких нейронных сетей для графово структурированных данных привели к передовым результатам на бенчмарках рекомендательных систем. Тем не менее практическая реализация и масштабирование этих методов для рекомендаций веб‑масштаба с миллиардами объектов и сотнями миллионов пользователей остаются нерешённой задачей. В работе описан крупномасштабный движок глубокой рекомендательной системы, разработанный и развернутый в Pinterest. Мы разработали энерго- и дата‑эффективный алгоритм Graph Convolutional Network (GCN), который сочетает эффективные случайные блуждания и графовые свёртки для получения встраиваний узлов (т.е. объектов), учитывающих как структуру графа, так и информацию о признаках узлов. По сравнению с предыдущими подходами GCN мы предлагаем новый метод, основанный на высокоэффективных случайных блужданиях для структурирования свёрток, и разрабатываем новую стратегию обучения, которая использует постепенно усложняющиеся тренировочные примеры для повышения устойчивости и сходимости модели. Также нами разработан эффективный алгоритм вывода модели на базе MapReduce для генерации встраиваний с помощью обученной модели. В целом мы можем обучать и получать встраивания для графов, которые на четыре порядка больше типичных реализаций GCN. Мы демонстрируем, как встраивания GCN могут быть использованы для получения высококачественных рекомендаций в различных сценариях в Pinterest, где базовый граф содержит 3 миллиарда узлов, представляющих пины и доски, и 17 миллиардов рёбер. Согласно офлайн-метрикам, пользовательским исследованиям и A/B-тестам, наш подход генерирует рекомендации более высокого качества по сравнению с сопоставимыми системами на базе глубокого обучения. Насколько нам известно, это далеко самая крупная на сегодняшний день реализация глубинных графовых встраиваний и она прокладывает путь для нового поколения рекомендательных систем веб‑масштаба на основе архитектур графовых свёрточных сетей.
1
По офлайн-метрикам, пользовательским исследованиям и A/B-тестам подход на базе GCN дал рекомендации более высокого качества по сравнению с сопоставимыми системами на базе глубокого обучения.
2
Система применена в Pinterest на графе с 3 миллиардами узлов и 17 миллиардами ребер, продемонстрировав практическое развертывание в веб-масштабе.
3
Разработана эффективная GCN, сочетающая эффективные случайные блуждания и графовые свертки для генерации эмбеддингов узлов, учитывающих структуру графа и признаки узлов.
4
Реализован эффективный алгоритм вывода модели на MapReduce для генерации эмбеддингов в веб-масштабе, что позволяет обучать и встраивать графы в четыре порядка величины больше, чем в типичных реализациях GCN.
5
Введен новый метод с использованием высокоэффективных случайных блужданий для структурирования сверток и стратегия обучения с постепенно усложняющимися примерами для повышения устойчивости и сходимости.

Веб-масштабный граф Pinterest объектов (узлы — pins и boards, рёбра — связи между ними), используемый для рекомендаций

Эффективный в данных метод на базе графовых сверточных нейронных сетей и его развёртывание для генерации эмбеддингов узлов в веб-масштабе с целью получения высококачественных рекомендаций, включающий организацию свёрток через эффективные случайные блуждания, стратегию обучения с всё более сложными примерами и MapReduce-инференс, позволяющие встраивать графы с миллиардами узлов

Publication Details
Publication Date
2018-07-19
Journal
Publisher
ISSN
Cited by
3732
Access Type
Author Information
Authors
Jure Leskovec
Rex Ying
William L. Hamilton
Rex Ying
Ruining He
Kaifeng Chen
Pong Eksombatchai
William L. Hamilton
Jure Leskovec
Kaifeng Chen
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%