Генерация с дополнением поиска на основе графов знаний для ответов на вопросы в службе поддержки клиентов
Retrieval-Augmented Generation with Knowledge Graphs for Customer Service Question Answering
2024-07-10
SCID: 54.1/kw86kgf2
Discuss with AI
ответы на вопросы службы поддержкитикеты отслеживания проблемграфы знанийгенерация с дополненным поискомизвлечение подграфов
Figures from the paper
Abstract (AI)
В технической поддержке клиентов оперативный и точный поиск релевантных прошлых инцидентов имеет критическое значение для эффективного решения запросов клиентов. Традиционные методы поиска в генерации с дополнением поиска (retrieval-augmented generation, RAG) для больших языковых моделей (large language models, LLM) рассматривают обширный корпус заявок по прошлым инцидентам как обычный текст, игнорируя важную внутреннюю структуру отдельных инцидентов и взаимосвязи между ними, что ограничивает эффективность. Мы предлагаем новый метод ответов на вопросы в службе поддержки клиентов, объединяющий RAG с графом знаний (knowledge graph, KG). В рамках метода на основе исторических инцидентов строится KG, используемый для поиска и сохраняющий внутреннюю структуру инцидентов и взаимосвязи между ними. На этапе формирования ответов метод анализирует запросы клиентов и извлекает из KG связанные подграфы для генерации ответов. Такая интеграция KG не только повышает точность поиска за счёт сохранения структурной информации о службе поддержки клиентов, но и улучшает качество ответов, уменьшая влияние сегментации текста. Эмпирическая оценка на наших эталонных наборах данных с использованием основных метрик поиска (MRR, Recall@K и NDCG@K) и метрик генерации текста (BLEU, ROUGE и METEOR) показала, что предложенный метод превосходит базовый метод на 77,6% по MRR и на 0,32 по BLEU. Метод внедрён в службу поддержки клиентов LinkedIn примерно на шесть месяцев и сократил медианное время решения одного инцидента на 28,6%.
Key Findings
1
Шестимесячное внедрение в службе поддержки LinkedIn сократило медианное время решения одного обращения на 28,6%.
2
Интеграция графа знаний повышает точность поиска и качество ответов за счёт сохранения структурной информации о поддержке и снижения влияния сегментации текста.
3
На тестовых наборах метод превосходит базовый подход на 77,6% по MRR и на 0,32 по BLEU.
4
Предложенный метод строит граф знаний на основе исторических обращений клиентов, сохраняя внутриобращенческую структуру и связи между обращениями для поиска.
5
Система анализирует запросы клиентов и извлекает связанные подграфы графа знаний для генерации ответов с использованием RAG.
Research Object
исторические тикеты технической поддержки клиентов и их представление в виде графа знаний
Research Subject
точность поиска и качество генерации ответов при ответах на вопросы клиентов, включая сохранение внутритикетной структуры и межтикетных связей
Publication Details
Publication Date
2024-07-10
Journal
Publisher
ISSN
Cited by
170
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest