Семь критических точек отказа при разработке системы генерации с дополнением извлечённой информацией
Seven Failure Points When Engineering a Retrieval Augmented Generation System
2024-04-14
SCID: 54.1/tadw4umf
Discuss with AI
галлюцинации в ответахинформационный поискбольшие языковые моделигенерация с дополненным поискомсемантический поиск
Figures from the paper
Abstract (AI)
Разработчики программного обеспечения всё чаще добавляют в приложения возможности семантического поиска, используя стратегию, известную как генерация с дополнением извлечённой информацией (Retrieval-Augmented Generation, RAG). Система RAG включает поиск документов, семантически соответствующих запросу, и последующую передачу этих документов большой языковой модели (large language model, LLM), такой как ChatGPT, для извлечения правильного ответа. Системы RAG призваны: (а) уменьшить проблему галлюцинаций в ответах LLM, (б) связывать сгенерированные ответы с источниками или ссылками и (в) устранить необходимость аннотирования документов метаданными. Однако системы RAG имеют ограничения, присущие системам информационного поиска, а также зависят от LLM. В статье представлен отчёт об опыте, посвящённый точкам отказа систем RAG, на основе трёх тематических исследований в различных областях: научных исследованиях, образовании и биомедицине. Мы обобщаем полученные уроки и выделяем семь точек отказа, которые необходимо учитывать при проектировании системы RAG. Основные выводы нашей работы заключаются в следующем: (1) валидация системы RAG возможна только в процессе эксплуатации, а (2) устойчивость системы RAG формируется постепенно, а не проектируется с самого начала. В заключение приведён перечень перспективных направлений исследований систем RAG для сообщества специалистов по программной инженерии.
Key Findings
1
RAG предназначен для снижения галлюцинаций, предоставления ссылок на источники и отказа от аннотирования документов метаданными, однако эти цели не гарантируются.
2
Надёжность RAG развивается со временем и требует непрерывного совершенствования, а не может быть полностью спроектирована при запуске системы.
3
Системы RAG наследуют ограничения как компонентов информационного поиска, так и своей зависимости от больших языковых моделей.
4
В статье выявлены семь точек отказа систем Retrieval Augmented Generation на основе трёх тематических исследований в областях науки, образования и биомедицины.
5
Валидация системы RAG возможна только в процессе эксплуатации, а не исключительно на этапе первоначальной разработки.
Research Object
системы генерации с дополненным поиском (Retrieval Augmented Generation, RAG)
Research Subject
точки отказа, эксплуатационная валидация и развивающаяся устойчивость систем RAG в исследовательской, образовательной и биомедицинской областях
Publication Details
Publication Date
2024-04-14
Journal
Publisher
ISSN
Cited by
155
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai5
Интеллект, компилируемый через аффордансы: наблюдаемое сопоставление когнитивных импедансов для LLM-интегрированных систем без мета-доступа2020
Затерянные в середине: как языковые модели используют длинные контексты2024
Использование поиска фрагментов текста с генеративными моделями для ответов на вопросы в открытом домене2021
Сравнительный анализ больших языковых моделей в генерации с дополнением извлечённой информацией2024
Улучшение адаптации к предметной области моделей генерации с дополнением извлечённой информацией (RAG) для ответов на вопросы в открытом домене2023