Генерация с дополнением поиска на основе графов знаний для ответов на вопросы в службе поддержки клиентов

Retrieval-Augmented Generation with Knowledge Graphs for Customer Service Question Answering
Zhentao Xu, Missy Meine C. Dela Cruz, Matthew Guevara, Tie Wang, M. N. DESHPANDE, Xiaofeng Wang, Zheng Li, Manasi Deshpande
2024-07-10

ответы на вопросы службы поддержкитикеты отслеживания проблемграфы знанийгенерация с дополненным поискомизвлечение подграфов
В технической поддержке клиентов оперативный и точный поиск релевантных прошлых инцидентов имеет критическое значение для эффективного решения запросов клиентов. Традиционные методы поиска в генерации с дополнением поиска (retrieval-augmented generation, RAG) для больших языковых моделей (large language models, LLM) рассматривают обширный корпус заявок по прошлым инцидентам как обычный текст, игнорируя важную внутреннюю структуру отдельных инцидентов и взаимосвязи между ними, что ограничивает эффективность. Мы предлагаем новый метод ответов на вопросы в службе поддержки клиентов, объединяющий RAG с графом знаний (knowledge graph, KG). В рамках метода на основе исторических инцидентов строится KG, используемый для поиска и сохраняющий внутреннюю структуру инцидентов и взаимосвязи между ними. На этапе формирования ответов метод анализирует запросы клиентов и извлекает из KG связанные подграфы для генерации ответов. Такая интеграция KG не только повышает точность поиска за счёт сохранения структурной информации о службе поддержки клиентов, но и улучшает качество ответов, уменьшая влияние сегментации текста. Эмпирическая оценка на наших эталонных наборах данных с использованием основных метрик поиска (MRR, Recall@K и NDCG@K) и метрик генерации текста (BLEU, ROUGE и METEOR) показала, что предложенный метод превосходит базовый метод на 77,6% по MRR и на 0,32 по BLEU. Метод внедрён в службу поддержки клиентов LinkedIn примерно на шесть месяцев и сократил медианное время решения одного инцидента на 28,6%.‌
1
Шестимесячное внедрение в службе поддержки LinkedIn сократило медианное время решения одного обращения на 28,6%.
2
Интеграция графа знаний повышает точность поиска и качество ответов за счёт сохранения структурной информации о поддержке и снижения влияния сегментации текста.
3
На тестовых наборах метод превосходит базовый подход на 77,6% по MRR и на 0,32 по BLEU.
4
Предложенный метод строит граф знаний на основе исторических обращений клиентов, сохраняя внутриобращенческую структуру и связи между обращениями для поиска.
5
Система анализирует запросы клиентов и извлекает связанные подграфы графа знаний для генерации ответов с использованием RAG.

исторические тикеты технической поддержки клиентов и их представление в виде графа знаний

точность поиска и качество генерации ответов при ответах на вопросы клиентов, включая сохранение внутритикетной структуры и межтикетных связей

Publication Details
Publication Date
2024-07-10
Journal
Publisher
ISSN
Cited by
170
Access Type
Author Information
Authors
Zhentao Xu
Missy Meine C. Dela Cruz
Matthew Guevara
Tie Wang
M. N. DESHPANDE
Xiaofeng Wang
Zheng Li
Manasi Deshpande
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%