Переоценка методов дополнения графов знаний

A Re-evaluation of Knowledge Graph Completion Methods
Yiming Yang, Zhiqing Sun, Partha Pratim Talukdar, Soumya Sanyal, Shikhar Vashishth
2020-01-01

Смещение оценкиПротокол оценкиДополнение графов знанийПредсказание связейВоспроизводимый код
Дополнение графов знаний (Knowledge Graph Completion, KGC) направлено на автоматическое предсказание отсутствующих связей в крупномасштабных графах знаний. В ряде исследовательских областей, включая интеллектуальный анализ данных, машинное обучение и обработку естественного языка, на ведущих конференциях было опубликовано большое количество передовых методов дополнения графов знаний. Однако мы отмечаем, что в нескольких недавних работах сообщается о весьма высокой эффективности, значительно превосходящей показатели ранее предложенных передовых методов. В настоящей работе мы показываем, что это может быть обусловлено некорректным протоколом оценки, использованным в этих исследованиях, и предлагаем простой протокол оценки для устранения данной проблемы. Предлагаемый протокол устойчив к смещению модели, которое может существенно влиять на конечные результаты. Мы проводим обширные эксперименты и приводим показатели нескольких существующих методов, полученные с использованием нашего протокола. Воспроизводимый программный код находится в открытом доступе.
1
Проведены масштабные эксперименты с переоценкой нескольких существующих методов KGC по предложенному протоколу; воспроизводимый код опубликован открыто.
2
Сообщаемые прорывы в задаче дополнения графов знаний частично обусловлены некорректными протоколами оценки, а не реальными улучшениями моделей.
3
В статье предложен простой протокол оценки, предназначенный для устранения проблем оценивания и более надежного сравнения методов KGC.
4
Предложенный протокол устойчив к смещению модели, которое может существенно влиять на итоговые показатели качества.

методы дополнения графов знаний

оценка производительности и устойчивости протокола, включая влияние смещения, для существующих методов дополнения графов знаний

Publication Details
Publication Date
2020-01-01
Journal
Publisher
ISSN
Cited by
171
Access Type
Author Information
Authors
Yiming Yang
Zhiqing Sun
Partha Pratim Talukdar
Soumya Sanyal
Shikhar Vashishth
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%