Вычисления для графовых нейронных сетей: обзор от алгоритмов до ускорителей

Графовые нейронные сети (Graph Neural Networks, GNN) в последние годы стремительно вошли в область машинного обучения благодаря своей способности моделировать данные, структурированные в виде графов, и обучаться на них. Эта способность имеет важное значение для широкого спектра областей, в которых данные по своей природе являются реляционными и где традиционные нейронные сети работают недостаточно эффективно. Как свидетельствуют недавние обзоры, исследования в области GNN быстро развиваются, что привело к созданию множества вариантов алгоритмов GNN, а также к изучению прорывных приложений в химии, неврологии, электронике, сетях связи и других областях. Однако на современном этапе исследований эффективная обработка GNN по-прежнему остается нерешенной задачей по нескольким причинам. Помимо новизны, вычисления GNN затруднены их зависимостью от входного графа, сочетанием плотных и высокоразреженных операций, а также необходимостью масштабирования до графов огромного размера в некоторых приложениях. В этом контексте статья вносит два основных вклада. Во-первых, представлен обзор области GNN с вычислительной точки зрения. Он включает краткое введение в основы GNN, обзор развития этой области за последнее десятилетие и обобщение операций, выполняемых на различных этапах работы разных вариантов алгоритмов GNN. Во-вторых, проведен углубленный анализ современных схем программного и аппаратного ускорения, на основе которого сформулировано аппаратно-программное, учитывающее структуру графа и ориентированное на коммуникации представление об ускорителях GNN.