Оценка качества извлечения в системах генерации с дополненным извлечением

Оценка генерации с дополненным извлечением (RAG) сопряжена с рядом трудностей, особенно в отношении моделей извлечения, используемых в таких системах. Традиционные методы сквозной оценки требуют значительных вычислительных ресурсов. Кроме того, оценка эффективности модели извлечения на основе меток релевантности «запрос—документ» демонстрирует слабую корреляцию с последующей эффективностью системы RAG. Мы предлагаем новый подход к оценке — eRAG, в рамках которого каждый документ из списка извлечённых документов индивидуально используется большой языковой моделью в составе системы RAG. Затем сгенерированный для каждого документа результат оценивается на основе эталонных меток последующей задачи. Таким образом, последующая эффективность для каждого документа служит его меткой релевантности. Мы используем различные метрики последующей задачи для получения аннотаций на уровне документов и агрегируем их с помощью метрических показателей на основе множеств или ранжирования. Масштабные эксперименты на широком спектре наборов данных показывают, что eRAG обеспечивает более высокую корреляцию с последующей эффективностью RAG по сравнению с базовыми методами; улучшение корреляции Кендалла тау составляет от 0.168 до 0.494. Кроме того, eRAG обладает значительными вычислительными преимуществами: сокращает время выполнения и требует до 50 раз меньше памяти GPU по сравнению со сквозной оценкой.