K-BERT: обеспечение языкового представления с помощью графов знаний

Предварительно обученные модели языкового представления, такие как BERT, формируют общее языковое представление на основе крупномасштабных корпусов, однако не обладают предметно-ориентированными знаниями. При чтении специализированного текста эксперты делают выводы, используя релевантные знания. Чтобы обеспечить такую возможность для машин, мы предлагаем модель языкового представления с поддержкой знаний (K-BERT), основанную на графах знаний (KG), в которой триплеты внедряются в предложения в качестве предметно-ориентированных знаний. Однако чрезмерное включение знаний может отклонить предложение от его корректного смысла, что приводит к проблеме шумов, обусловленных знаниями (KN). Для устранения KN в K-BERT введены мягкие позиции и матрица видимости, ограничивающие влияние знаний. K-BERT позволяет легко внедрять предметно-ориентированные знания в модели, оснащённые графом знаний, без самостоятельного предварительного обучения, поскольку способен загружать параметры из предварительно обученной модели BERT. Наше исследование демонстрирует перспективные результаты в двенадцати задачах обработки естественного языка (NLP). Особенно в предметно-ориентированных задачах, включая финансы, право и медицину, K-BERT значительно превосходит BERT, что свидетельствует о том, что K-BERT является отличным выбором для решения задач, основанных на знаниях и требующих экспертных знаний.