Переоценка методов дополнения графов знаний
A Re-evaluation of Knowledge Graph Completion Methods
2020-01-01
SCID: 54.1/22ntjtnv
Discuss with AI
Смещение оценкиПротокол оценкиДополнение графов знанийПредсказание связейВоспроизводимый код
Figures from the paper
Abstract (AI)
Дополнение графов знаний (Knowledge Graph Completion, KGC) направлено на автоматическое предсказание отсутствующих связей в крупномасштабных графах знаний. В ряде исследовательских областей, включая интеллектуальный анализ данных, машинное обучение и обработку естественного языка, на ведущих конференциях было опубликовано большое количество передовых методов дополнения графов знаний. Однако мы отмечаем, что в нескольких недавних работах сообщается о весьма высокой эффективности, значительно превосходящей показатели ранее предложенных передовых методов. В настоящей работе мы показываем, что это может быть обусловлено некорректным протоколом оценки, использованным в этих исследованиях, и предлагаем простой протокол оценки для устранения данной проблемы. Предлагаемый протокол устойчив к смещению модели, которое может существенно влиять на конечные результаты. Мы проводим обширные эксперименты и приводим показатели нескольких существующих методов, полученные с использованием нашего протокола. Воспроизводимый программный код находится в открытом доступе.
Key Findings
1
Проведены масштабные эксперименты с переоценкой нескольких существующих методов KGC по предложенному протоколу; воспроизводимый код опубликован открыто.
2
Сообщаемые прорывы в задаче дополнения графов знаний частично обусловлены некорректными протоколами оценки, а не реальными улучшениями моделей.
3
В статье предложен простой протокол оценки, предназначенный для устранения проблем оценивания и более надежного сравнения методов KGC.
4
Предложенный протокол устойчив к смещению модели, которое может существенно влиять на итоговые показатели качества.
Research Object
методы дополнения графов знаний
Research Subject
оценка производительности и устойчивости протокола, включая влияние смещения, для существующих методов дополнения графов знаний
Publication Details
Publication Date
2020-01-01
Journal
Publisher
ISSN
Cited by
171
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
WordNet1995
Встраивание графа знаний посредством трансляций на гиперплоскостях2014
DBpedia — масштабная многоязычная база знаний, извлечённая из Википедии2015
Сверточные двумерные встраивания для графов знаний2018
Голографические вложения графов знаний2016
TransG: генеративная модель для встраивания графов знаний2016