LightRAG: простой и быстрый подход к генерации с дополнением извлечённой информацией

LightRAG: Simple and Fast Retrieval-Augmented Generation
Lianghao Xia, Yanhua Yu, Zirui Guo, Tu Ao, Chao Huang
2025-01-01

LightRAGдвухуровневый поискграфовый поискалгоритм инкрементального обновлениягенерация с дополнением извлечением
Системы генерации с дополнением извлечённой информацией (Retrieval-Augmented Generation, RAG) расширяют возможности больших языковых моделей (Large Language Models, LLM), интегрируя внешние источники знаний и обеспечивая более точные и релевантные контексту ответы, адаптированные к потребностям пользователей. Однако существующие системы RAG имеют существенные ограничения, включая зависимость от плоских представлений данных и недостаточную контекстную осведомлённость, что может приводить к фрагментарным ответам, не отражающим сложные взаимозависимости. Для решения этих проблем мы предлагаем LightRAG — новый фреймворк, интегрирующий графовые структуры в процессы индексации и извлечения текста. Этот инновационный подход использует двухуровневую систему извлечения, обеспечивающую более полный поиск информации как на низком, так и на высоком уровне знаний. Кроме того, интеграция графовых структур с векторными представлениями облегчает эффективное извлечение связанных сущностей и отношений между ними, существенно сокращая время формирования ответов при сохранении контекстной релевантности. Эти возможности дополнительно усиливаются алгоритмом инкрементального обновления, обеспечивающим своевременную интеграцию новых данных и позволяющим системе сохранять эффективность и оперативность в быстро меняющихся средах данных. Масштабная экспериментальная проверка демонстрирует значительное повышение точности и эффективности извлечения по сравнению с существующими подходами.
1
Алгоритм инкрементального обновления своевременно интегрирует новые данные, поддерживая быстродействие в быстро меняющихся информационных средах.
2
Сочетание графовых структур с векторными представлениями позволяет эффективно находить связанные сущности и отношения, сохраняя контекстную релевантность.
3
Эксперименты показывают значительное повышение точности и эффективности поиска по сравнению с существующими подходами.
4
Двухуровневый механизм поиска обеспечивает комплексное обнаружение низкоуровневых и высокоуровневых знаний.
5
LightRAG внедряет графовые структуры в индексацию и поиск текста, устраняя ограничения плоских представлений и слабого учета контекста в существующих RAG-системах.

Фреймворк LightRAG для генерации с дополненным поиском

Контекстно-зависимый эффективный поиск на основе графов и инкрементальное обновление для точной генерации с дополненным поиском

Publication Details
Publication Date
2025-01-01
Journal
Publisher
ISSN
Cited by
828
Access Type
Author Information
Authors
Lianghao Xia
Yanhua Yu
Zirui Guo
Tu Ao
Chao Huang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%