Сверточные двумерные встраивания для графов знаний

Прогнозирование связей в графах знаний — задача предсказания пропущенных отношений между сущностями. Предыдущие работы по прогнозированию связей были сосредоточены на неглубоких, быстрых моделях, способных масштабироваться на большие графы знаний; однако такие модели извлекают менее выразительные признаки по сравнению с глубокими многослойными моделями, что может ограничивать их производительность. В этой работе мы представляем ConvE — многослойную сверточную нейронную сеть для прогнозирования связей, и приводим передовые показатели на нескольких признанных наборах данных. Мы также показываем, что модель обладает высокой параметрической эффективностью: она достигает той же производительности, что DistMult и R-GCN, при в 8 и 17 раз меньшем числе параметров соответственно. Анализ нашей модели указывает на то, что она особенно эффективна в моделировании узлов с высокой входной степенью, которые распространены в сильно связанных, сложных графах знаний, таких как Freebase и YAGO3. Кроме того, было отмечено, что наборы данных WN18 и FB15k страдают от утечки тестового набора из-за наличия обратных отношений из обучающего набора в тестовом; тем не менее, масштаб этой проблемы ранее не был количественно оценён. Мы обнаруживаем, что проблема серьёзна: простая правилово-ориентированная модель может показывать передовые результаты на WN18 и FB15k. Чтобы обеспечить оценку моделей на наборах данных, где простое использование обратных отношений не даёт конкурентных результатов, мы исследуем и валидируем несколько широко используемых наборов данных и при необходимости создаём их устойчивые варианты. Затем мы проводим эксперименты на этих устойчивых наборах данных для нашей модели и нескольких ранее предложенных моделей и обнаруживаем, что ConvE показывает наивысший средний обратный ранг (mean reciprocal rank) по всем наборам данных.