K-BERT: обеспечение языкового представления с помощью графов знаний

K-BERT: Enabling Language Representation with Knowledge Graph
Zhe Zhao, Haotang Deng, Qi Ju, Weijie Liu, Peng Zhou, Zhiruo Wang, Ping Wang
2020-04-03

K-BERTдоменно-специфическая обработка естественного языкаграфы знаниймягкие позицииматрица видимости
Предварительно обученные модели языкового представления, такие как BERT, формируют общее языковое представление на основе крупномасштабных корпусов, однако не обладают предметно-ориентированными знаниями. При чтении специализированного текста эксперты делают выводы, используя релевантные знания. Чтобы обеспечить такую возможность для машин, мы предлагаем модель языкового представления с поддержкой знаний (K-BERT), основанную на графах знаний (KG), в которой триплеты внедряются в предложения в качестве предметно-ориентированных знаний. Однако чрезмерное включение знаний может отклонить предложение от его корректного смысла, что приводит к проблеме шумов, обусловленных знаниями (KN). Для устранения KN в K-BERT введены мягкие позиции и матрица видимости, ограничивающие влияние знаний. K-BERT позволяет легко внедрять предметно-ориентированные знания в модели, оснащённые графом знаний, без самостоятельного предварительного обучения, поскольку способен загружать параметры из предварительно обученной модели BERT. Наше исследование демонстрирует перспективные результаты в двенадцати задачах обработки естественного языка (NLP). Особенно в предметно-ориентированных задачах, включая финансы, право и медицину, K-BERT значительно превосходит BERT, что свидетельствует о том, что K-BERT является отличным выбором для решения задач, основанных на знаниях и требующих экспертных знаний.
1
Оценка на двенадцати задачах обработки естественного языка показала многообещающие результаты и значительное превосходство над BERT в специализированных задачах финансовой, юридической и медицинской областей.
2
K-BERT может загружать параметры предварительно обученной BERT и интегрировать граф знаний без отдельного предварительного обучения.
3
K-BERT внедряет триплеты графа знаний во входные предложения, обеспечивая языковое представление, учитывающее предметно-ориентированные знания.
4
Модель решает проблему шумов знаний — искажения смысла из-за чрезмерного добавления знаний — с помощью мягких позиций и матрицы видимости.
5
Результаты показывают, что K-BERT подходит для задач, основанных на знаниях и требующих предметной экспертной информации.

модель языкового представления K-BERT, использующая знания предметной области, внедрённые из графов знаний

эффективность внедрения знаний из графов знаний и подавления шумов знаний в языковом представлении для специализированных предметных областей в задачах NLP

Publication Details
Publication Date
2020-04-03
Journal
Publisher
ISSN
Cited by
827
Access Type
Author Information
Authors
Zhe Zhao
Haotang Deng
Qi Ju
Weijie Liu
Peng Zhou
Zhiruo Wang
Ping Wang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%