CRUD-RAG: комплексный китайский бенчмарк для генерации с дополнением извлечённой информацией большими языковыми моделями

Генерация с дополнением извлечённой информацией (retrieval-augmented generation, RAG) — это метод, повышающий возможности больших языковых моделей (large language models, LLM) за счёт использования внешних источников знаний. Этот метод позволяет устранить распространённые ограничения LLM, включая устаревшую информацию и склонность к созданию неточного «галлюцинирующего» контента. Однако оценка систем RAG представляет собой сложную задачу. Большинство бенчмарков сосредоточено главным образом на приложениях для ответов на вопросы, оставляя без внимания другие потенциальные сценарии, в которых RAG может быть полезен. Поэтому в экспериментах с использованием таких бенчмарков часто оцениваются только компоненты LLM в конвейере RAG либо модуль извлечения в сценариях, насыщенных знаниями, тогда как влияние построения внешней базы знаний и компонента извлечения на весь конвейер RAG в сценариях, не требующих интенсивного использования знаний, остаётся без внимания. Для решения этих проблем в статье создан крупномасштабный и более комплексный бенчмарк, а также проведена оценка всех компонентов систем RAG в различных сценариях применения RAG. В частности, за основу взяты операции CRUD, описывающие взаимодействие пользователей с базами знаний; диапазон приложений RAG также разделён на четыре типа — создание, чтение, обновление и удаление (create, read, update, delete, CRUD). «Создание» относится к сценариям, требующим генерации оригинального и разнообразного контента. «Чтение» предполагает ответы на сложные вопросы в ситуациях, насыщенных знаниями. «Обновление» связано с пересмотром и исправлением неточностей или несоответствий в ранее созданных текстах. «Удаление» означает задачу суммирования объёмных текстов в более краткую форму. Для каждой из категорий CRUD разработаны отдельные наборы данных для оценки производительности систем RAG. Кроме того, проанализировано влияние различных компонентов системы RAG, таких как модуль извлечения, длина контекста, построение базы знаний и LLM. Наконец, представлены полезные рекомендации по оптимизации технологии RAG для различных сценариев. Исходный код доступен на GitHub: https://github.com/IAAR-Shanghai/CRUD_RAG.