Генерация с дополнением извлечённой информацией для больших языковых моделей: обзор
Retrieval-Augmented Generation for Large Language Models: A Survey
2023-12-18
SCID: 54.1/h883evpx
Discuss with AI
извлечение внешних знанийзадачи, насыщенные знаниямибольшие языковые моделибенчмарки оценки RAGгенерация с дополнением поиска
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM) демонстрируют впечатляющие возможности, однако сталкиваются с такими проблемами, как галлюцинации, устаревшие знания, а также непрозрачные и не поддающиеся трассировке процессы рассуждения. Генерация с дополнением извлечённой информацией (RAG) стала перспективным решением благодаря включению знаний из внешних баз данных. Это повышает точность и достоверность генерируемого контента, особенно при решении задач, требующих обширных знаний, а также обеспечивает непрерывное обновление знаний и интеграцию специализированной предметной информации. RAG синергетически объединяет внутренние знания больших языковых моделей с обширными динамическими хранилищами внешних баз данных. В данной обзорной статье подробно рассматривается развитие парадигм RAG, включая наивный RAG, расширенный RAG и модульный RAG. Тщательно анализируется трёхкомпонентная основа архитектур RAG, включающая методы извлечения, генерации и дополнения. Особое внимание уделяется передовым технологиям, реализованным в каждом из этих ключевых компонентов, что позволяет глубже понять развитие систем RAG. Кроме того, в статье представлены актуальные оценочная система и бенчмарк. В заключение описываются существующие проблемы и намечаются перспективные направления дальнейших исследований и разработок.
Key Findings
1
Извлечение внешних знаний повышает точность и достоверность генерации, особенно в задачах, требующих интенсивного использования знаний, а также обеспечивает постоянное обновление и интеграцию предметной информации.
2
Архитектуры RAG рассматриваются через три ключевых компонента: извлечение, генерацию и дополнение, включая современные методы для каждого компонента.
3
Retrieval-Augmented Generation (RAG) решает проблемы галлюцинаций, устаревших знаний и непрозрачного, нетрассируемого рассуждения больших языковых моделей за счёт использования внешних баз данных.
4
В статье предложены актуальные система оценки и бенчмарк, а также обозначены текущие проблемы и перспективные направления исследований RAG-систем.
5
В обзоре развитие RAG систематизировано по трём парадигмам: наивной RAG, продвинутой RAG и модульной RAG.
Research Object
Системы Retrieval-Augmented Generation (RAG) для больших языковых моделей
Research Subject
Парадигмы и архитектуры RAG, технологии их компонентов, оценка, актуальные проблемы и перспективные направления исследований
Publication Details
Publication Date
2023-12-18
Journal
Publisher
ISSN
Cited by
8625
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai14
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
Рекурсивные глубокие модели для семантической композицией по дереву тональности2013
Затерянные в середине: как языковые модели используют длинные контексты2024
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Законы масштабирования нейронных языковых моделей2020
Генерация с активным дополнением посредством поиска2023
Atlas: обучение в режиме few-shot с использованием языковых моделей, дополненных поиском2022
Сравнительный анализ больших языковых моделей в генерации с дополнением извлечённой информацией2024
Chatlaw: многоагентный юридический ассистент на основе архитектуры смеси экспертов, согласованной с ролями2026
Языковые модели с дополнением извлечённой информацией в контексте2023
Сила шума: переосмысление поиска для систем RAG2024
Улучшение адаптации к предметной области моделей генерации с дополнением извлечённой информацией (RAG) для ответов на вопросы в открытом домене2023
Повышение эффективности больших языковых моделей с дополнением посредством извлечения данных за счёт итеративного взаимодействия извлечения и генерации2023
CRUD-RAG: комплексный китайский бенчмарк для генерации с дополнением извлечённой информацией большими языковыми моделями2024
Работы, цитирующие эту статью20
Обзор больших языковых моделей2026
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
Обзор взаимодействия RAG и LLM: к большим языковым моделям с дополнением извлечённой информацией2024
Бенчмаркинг генерации с дополнением извлечённой информацией в медицине2024
LightRAG: простой и быстрый подход к генерации с дополнением извлечённой информацией2025
MM-LLMs: последние достижения в области мультимодальных больших языковых моделей2024
Chatlaw: многоагентный юридический ассистент на основе архитектуры смеси экспертов, согласованной с ролями2026
Большие языковые модели для кибербезопасности: систематический обзор литературы2025
Генерация с дополнением извлечением на основе графов: обзор2025
AgentClinic: мультимодальный бенчмарк для клинических ИИ-агентов, использующих инструменты2026
Генерация с дополнением извлечённой информации под руководством графа знаний2025
Генерация с дополнением поиском для больших языковых моделей в здравоохранении: систематический обзор2025
Обзор больших языковых моделей для генерации кода2025
Улучшение применения больших языковых моделей в биомедицине с помощью генерации с дополнением извлечённой информацией: систематический обзор, метаанализ и рекомендации по клинической разработке2025
CRUD-RAG: комплексный китайский бенчмарк для генерации с дополнением извлечённой информацией большими языковыми моделями2024
Материаловедение в эпоху больших языковых моделей: перспективный обзор2024
Извлечение с расширением клиническими сущностями для извлечения клинической информации2025
Обзор моделей генерации с дополнением посредством поиска (RAG) для применения в здравоохранении2025
Генерация с дополнением извлечённой информацией (RAG)2025
Влияние генеративных AI‑агентов и неподкрепляющей поддержки (scaffolding) на улучшение понимания студентами визуальной аналитики обучения2025