Сравнительный анализ больших языковых моделей в генерации с дополнением извлечённой информацией

Генерация с дополнением извлечённой информацией (Retrieval-Augmented Generation, RAG) является перспективным подходом к снижению галлюцинаций в больших языковых моделях (Large Language Models, LLM). Однако в существующих исследованиях отсутствует строгая оценка влияния генерации с дополнением извлечённой информацией на различные большие языковые модели, что затрудняет выявление потенциальных узких мест RAG при работе с разными LLM. В данной статье систематически исследуется влияние генерации с дополнением извлечённой информацией на большие языковые модели. Анализируется эффективность различных больших языковых моделей по четырём фундаментальным способностям, необходимым для RAG: устойчивости к шуму, отклонению отрицательных утверждений, интеграции информации и устойчивости к контрфактическим данным. Для этого создан бенчмарк Retrieval-Augmented Generation Benchmark (RGB) — новый корпус для оценки RAG на английском и китайском языках. RGB разделяет примеры бенчмарка на четыре отдельные тестовые группы в соответствии с указанными фундаментальными способностями, необходимыми для решения каждого случая. Затем на RGB оцениваются шесть репрезентативных LLM для диагностики проблем, с которыми сталкиваются современные LLM при применении RAG. Оценка показывает, что, хотя LLM обладают определённой устойчивостью к шуму, они по-прежнему испытывают значительные трудности с отклонением отрицательных утверждений, интеграцией информации и обработкой ложной информации. Эти результаты свидетельствуют о том, что до эффективного применения RAG к LLM ещё предстоит проделать значительную работу.