Объединение больших языковых моделей и графов знаний: дорожная карта
Unifying Large Language Models and Knowledge Graphs: A Roadmap
2024-01-10
SCID: 54.1/dwg2nwsx
Discuss with AI
LLM, усиленные графами знанийграфы знаний, дополненные LLMдвунаправленное рассуждениеграфы знанийбольшие языковые модели
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM), такие как ChatGPT и GPT-4, открывают новые перспективы в области обработки естественного языка и искусственного интеллекта благодаря своим эмерджентным способностям и способности к обобщению. Однако LLM являются моделями типа «чёрного ящика» и зачастую не обеспечивают полноценного извлечения и использования фактуальных знаний. В отличие от них графы знаний (KG), такие как Wikipedia и Huapu, представляют собой структурированные модели знаний, в которых явно хранится значительный объём фактуальной информации. KG могут расширять возможности LLM, предоставляя внешние знания для вывода и интерпретируемости. В то же время построение и развитие KG по своей природе являются сложными задачами, что создаёт проблемы для существующих методов KG, предназначенных для генерации новых фактов и представления ранее не наблюдавшихся знаний. Поэтому объединение LLM и KG является взаимодополняющим подходом, позволяющим одновременно использовать преимущества обеих технологий. В данной статье представлена ориентированная на будущее дорожная карта объединения LLM и KG. Она включает три общих направления: 1) LLM, усиленные KG, в которых KG используются на этапах предварительного обучения и вывода LLM либо для улучшения понимания знаний, усвоенных LLM; 2) KG, дополненные LLM, в которых LLM применяются для решения различных задач, связанных с KG, таких как построение эмбеддингов, дополнение, конструирование, генерация текста из графа и ответы на вопросы; и 3) синергетические LLM + KG, в которых LLM и KG играют равноправные роли и взаимовыгодно взаимодействуют, повышая эффективность обеих технологий посредством двунаправленного рассуждения, основанного на данных и знаниях. В дорожной карте рассматриваются и обобщаются существующие исследования в рамках этих трёх направлений, а также определяются перспективные направления дальнейших исследований.
Key Findings
1
Взаимовыгодная интеграция LLM и графов знаний рассматривается как основа двунаправленного рассуждения, объединяющего данные и структурированные знания; также определены направления будущих исследований.
2
Графы знаний предоставляют структурированные и явно представленные факты, способные улучшить выводы и интерпретируемость LLM, однако их сложно создавать и непрерывно обновлять.
3
LLM могут поддерживать создание эмбеддингов графов, дополнение графов, их построение, генерацию текста из графов и ответы на вопросы, помогая представлять новые знания.
4
Большие языковые модели обладают сильной способностью к обобщению, но остаются моделями типа «чёрного ящика» и часто испытывают трудности с извлечением и использованием фактических знаний.
5
В статье интеграция LLM и графов знаний систематизируется в рамках трёх подходов: обогащение LLM графами знаний, усиление графов знаний с помощью LLM и синергия LLM и графов знаний.
Research Object
объединение больших языковых моделей (LLM) и графов знаний (KG)
Research Subject
подходы, методы и перспективные направления исследований по взаимному использованию LLM и KG для улучшения доступа к фактическим знаниям, интерпретируемости, построения и дополнения знаний, а также двунаправленного рассуждения
Publication Details
Publication Date
2024-01-10
Journal
Publisher
ISSN
Cited by
2567
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai16
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
LLaMA: открытые и эффективные базовые языковые модели2023
Обзор больших языковых моделей2026
Интеллект, компилируемый через аффордансы: наблюдаемое сопоставление когнитивных импедансов для LLM-интегрированных систем без мета-доступа2020
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
Обучение встраиваний сущностей и отношений для дополнения графа знаний2015
Обзор графов знаний: представление, получение и приложения2021
ConceptNet 5.5: открытый многоязычный граф общих знаний2017
Longformer: трансформер для длинных документов2020
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Последние достижения в области обработки естественного языка с использованием крупномасштабных предварительно обученных языковых моделей: обзор2023
REALM: предварительное обучение языковой модели с дополнением за счет извлечения информации2020
K-BERT: обеспечение языкового представления с помощью графов знаний2020
AgentTuning: развитие обобщённых агентских способностей больших языковых моделей2024
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью11
Обзор методов оценки больших языковых моделей2024
Большие языковые модели для программной инженерии: систематический обзор литературы2024
Тестирование программного обеспечения с помощью больших языковых моделей: обзор, ландшафт и видение2024
Большие языковые модели для кибербезопасности: систематический обзор литературы2025
Генерация с дополнением извлечением на основе графов: обзор2025
Борьба с дезинформацией в эпоху больших языковых моделей: возможности и вызовы2024
Построение графов знаний: современное состояние и проблемы2024
Большие языковые модели и графы знаний: возможности и вызовы2023
Графы знаний и их взаимосвязь с большими языковыми моделями2025
От больших моделей искусственного интеллекта к агентному ИИ: учебное руководство по интеллектуальным коммуникациям будущего2026
Graphusion: фреймворк RAG для построения научных графов знаний с глобальной перспективой2025