Объединение больших языковых моделей и графов знаний: дорожная карта

Unifying Large Language Models and Knowledge Graphs: A Roadmap
Xindong Wu, Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu Wang
2024-01-10

LLM, усиленные графами знанийграфы знаний, дополненные LLMдвунаправленное рассуждениеграфы знанийбольшие языковые модели
Большие языковые модели (LLM), такие как ChatGPT и GPT-4, открывают новые перспективы в области обработки естественного языка и искусственного интеллекта благодаря своим эмерджентным способностям и способности к обобщению. Однако LLM являются моделями типа «чёрного ящика» и зачастую не обеспечивают полноценного извлечения и использования фактуальных знаний. В отличие от них графы знаний (KG), такие как Wikipedia и Huapu, представляют собой структурированные модели знаний, в которых явно хранится значительный объём фактуальной информации. KG могут расширять возможности LLM, предоставляя внешние знания для вывода и интерпретируемости. В то же время построение и развитие KG по своей природе являются сложными задачами, что создаёт проблемы для существующих методов KG, предназначенных для генерации новых фактов и представления ранее не наблюдавшихся знаний. Поэтому объединение LLM и KG является взаимодополняющим подходом, позволяющим одновременно использовать преимущества обеих технологий. В данной статье представлена ориентированная на будущее дорожная карта объединения LLM и KG. Она включает три общих направления: 1) LLM, усиленные KG, в которых KG используются на этапах предварительного обучения и вывода LLM либо для улучшения понимания знаний, усвоенных LLM; 2) KG, дополненные LLM, в которых LLM применяются для решения различных задач, связанных с KG, таких как построение эмбеддингов, дополнение, конструирование, генерация текста из графа и ответы на вопросы; и 3) синергетические LLM + KG, в которых LLM и KG играют равноправные роли и взаимовыгодно взаимодействуют, повышая эффективность обеих технологий посредством двунаправленного рассуждения, основанного на данных и знаниях. В дорожной карте рассматриваются и обобщаются существующие исследования в рамках этих трёх направлений, а также определяются перспективные направления дальнейших исследований.
1
Взаимовыгодная интеграция LLM и графов знаний рассматривается как основа двунаправленного рассуждения, объединяющего данные и структурированные знания; также определены направления будущих исследований.
2
Графы знаний предоставляют структурированные и явно представленные факты, способные улучшить выводы и интерпретируемость LLM, однако их сложно создавать и непрерывно обновлять.
3
LLM могут поддерживать создание эмбеддингов графов, дополнение графов, их построение, генерацию текста из графов и ответы на вопросы, помогая представлять новые знания.
4
Большие языковые модели обладают сильной способностью к обобщению, но остаются моделями типа «чёрного ящика» и часто испытывают трудности с извлечением и использованием фактических знаний.
5
В статье интеграция LLM и графов знаний систематизируется в рамках трёх подходов: обогащение LLM графами знаний, усиление графов знаний с помощью LLM и синергия LLM и графов знаний.

объединение больших языковых моделей (LLM) и графов знаний (KG)

подходы, методы и перспективные направления исследований по взаимному использованию LLM и KG для улучшения доступа к фактическим знаниям, интерпретируемости, построения и дополнения знаний, а также двунаправленного рассуждения

Publication Details
Publication Date
2024-01-10
Journal
Publisher
ISSN
Cited by
2567
Access Type
Author Information
Authors
Xindong Wu
Shirui Pan
Linhao Luo
Yufei Wang
Chen Chen
Jiapu Wang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%