Сила шума: переосмысление поиска для систем RAG

Генерация с дополнением извлечённой информацией (Retrieval-Augmented Generation, RAG) недавно стала методом расширения предварительно обученных знаний больших языковых моделей (Large Language Models, LLM) за счёт дополнения исходного запроса релевантными фрагментами или документами, извлечёнными системой информационного поиска (Information Retrieval, IR). RAG приобретает всё большее значение для решений на основе генеративного искусственного интеллекта, особенно в корпоративной среде или в любой предметной области, где знания постоянно обновляются и не могут быть запомнены языковой моделью. В данной работе мы утверждаем, что компонент поиска в системах RAG, будь то плотный или разреженный поиск, заслуживает повышенного внимания исследовательского сообщества, и поэтому проводим первое всестороннее и систематическое исследование стратегии поиска в системах RAG. В частности, мы сосредоточиваемся на том, какие типы фрагментов должны извлекать системы информационного поиска в составе решения RAG. В нашем анализе учитываются несколько факторов, включая релевантность фрагментов, включённых в контекст запроса, их положение и количество. Один из контринтуитивных результатов этой работы заключается в том, что документы с наивысшими оценками, возвращаемые поисковой системой, но не имеющие прямого отношения к запросу (например, не содержащие ответа), отрицательно влияют на эффективность большой языковой модели. Ещё более неожиданно, мы обнаружили, что добавление в запрос случайных документов повышает точность большой языковой модели до 35%. Эти результаты подчёркивают необходимость изучения подходящих стратегий интеграции поиска с большими языковыми моделями, тем самым закладывая основу для дальнейших исследований в этой области.