Сверточные двумерные встраивания для графов знаний
Convolutional 2D Knowledge Graph Embeddings
2018-04-25
SCID: 54.1/mv6h7jjk
Discuss with AI
ConvEсвёрточные 2D встраивания графа знанийутечка обратных отношенийпредсказание связейсредний обратный ранг (MRR)
Figures from the paper
Abstract (AI)
Прогнозирование связей в графах знаний — задача предсказания пропущенных отношений между сущностями. Предыдущие работы по прогнозированию связей были сосредоточены на неглубоких, быстрых моделях, способных масштабироваться на большие графы знаний; однако такие модели извлекают менее выразительные признаки по сравнению с глубокими многослойными моделями, что может ограничивать их производительность. В этой работе мы представляем ConvE — многослойную сверточную нейронную сеть для прогнозирования связей, и приводим передовые показатели на нескольких признанных наборах данных. Мы также показываем, что модель обладает высокой параметрической эффективностью: она достигает той же производительности, что DistMult и R-GCN, при в 8 и 17 раз меньшем числе параметров соответственно. Анализ нашей модели указывает на то, что она особенно эффективна в моделировании узлов с высокой входной степенью, которые распространены в сильно связанных, сложных графах знаний, таких как Freebase и YAGO3. Кроме того, было отмечено, что наборы данных WN18 и FB15k страдают от утечки тестового набора из-за наличия обратных отношений из обучающего набора в тестовом; тем не менее, масштаб этой проблемы ранее не был количественно оценён. Мы обнаруживаем, что проблема серьёзна: простая правилово-ориентированная модель может показывать передовые результаты на WN18 и FB15k. Чтобы обеспечить оценку моделей на наборах данных, где простое использование обратных отношений не даёт конкурентных результатов, мы исследуем и валидируем несколько широко используемых наборов данных и при необходимости создаём их устойчивые варианты. Затем мы проводим эксперименты на этих устойчивых наборах данных для нашей модели и нескольких ранее предложенных моделей и обнаруживаем, что ConvE показывает наивысший средний обратный ранг (mean reciprocal rank) по всем наборам данных.
Key Findings
1
Анализ показывает, что ConvE особенно эффективна для моделирования узлов с высокой входной степенью, характерных для сложных графов вроде Freebase и YAGO3.
2
ConvE — это многослойная 2D сверточная модель для предсказания связей в графах знаний, достигающая передовых результатов на нескольких известных наборах данных.
3
ConvE обладает высокой параметрической эффективностью, сопоставимой с DistMult и R-GCN при в 8 и 17 раз меньшем числе параметров соответственно.
4
Авторы сформировали и проверили устойчивые варианты наборов данных без утечки через обратные отношения и показали, что ConvE достигает передового значения Mean Reciprocal Rank на этих и других оценённых наборах данных.
5
Наборы данных WN18 и FB15k содержат серьёзную утечку из тестовой выборки через обратные отношения; простая правиловая модель достигает на них передовых результатов.
Research Object
Многослойная сверточная модель встраивания графа знаний (ConvE) для предсказания связей
Research Subject
Эффективность и параметрическая экономичность 2D-сверточной архитектуры встраивания графа знаний для предсказания связей, включая результаты на эталонных наборах данных, устойчивость к утечке в тестовой выборке (обратные отношения) и моделирование узлов с высокой входящей степенью
Publication Details
Publication Date
2018-04-25
Journal
Publisher
ISSN
Cited by
2488
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai10
Глубокое остаточное обучение для распознавания изображений2016
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Adam: метод стохастической оптимизации2014
Градиентное обучение для распознавания документов1998
Полуобучаемая классификация с использованием графовых сверточных сетей2016
Переосмысление архитектуры Inception для компьютерного зрения2016
Сверточные нейронные сети для классификации предложений2014
Обзор реляционного машинного обучения для графов знаний2015
Голографические вложения графов знаний2016
Обнаружение уязвимостей, специфичных для функциональности, путем поиска индивидуальных эквивалентных по функциональности API в открытых репозиториях2025
Работы, цитирующие эту статью9
Обзор больших языковых моделей2026
Графовые нейронные сети: обзор методов и приложений2020
Обзор графов знаний: представление, получение и приложения2021
Графы знаний2021
Встраивание графов знаний для предсказания связей2021
Искусственный интеллект в репозиционировании лекарственных препаратов для лечения COVID-192020
Дополнение графов знаний: обзор2020
Переоценка методов дополнения графов знаний2020
Тройная классификация для дополнения научных графов знаний2021