Оценка агентов на основе больших языковых моделей в многоходовых диалогах: обзор
Evaluating LLM-based Agents for Multi-turn Conversations: A Survey
2026-02-14
SCID: 54.1/mhu8npce
Discuss with AI
агенты на основе больших языковых моделейметодологии оценкиудержание памяти и контекстамногоходовые диалогиметоды самооценки
Figures from the paper
Abstract (AI)
В этом обзоре рассматриваются методы оценки агентов на основе больших языковых моделей (LLM) в условиях многоходового взаимодействия. Используя фреймворк, разработанный по аналогии с PRISMA, мы систематически проанализировали почти 250 научных источников, охватив современное состояние исследований в различных изданиях и создав надежную основу для нашего анализа. В работе предложен структурированный подход, основанный на разработке двух взаимосвязанных таксономий: одна определяет, что именно следует оценивать, а другая объясняет, как проводить оценку. Первая таксономия выделяет ключевые компоненты агентов на основе LLM для многоходовых диалогов и соответствующие измерения оценки, включая выполнение задач, качество ответов, пользовательский опыт, сохранение памяти и контекста, а также планирование и интеграцию инструментов. Эти компоненты обеспечивают всестороннюю и содержательную оценку производительности диалоговых агентов. Вторая таксономия посвящена методологиям оценки. Она классифицирует подходы на оценки на основе аннотаций, автоматизированные метрики, гибридные стратегии, сочетающие экспертные оценки с количественными показателями, и методы самооценки с использованием LLM. Эта структура охватывает не только традиционные метрики, основанные на понимании языка, такие как показатели BLEU и ROUGE, но и современные методы, отражающие динамическую и интерактивную природу многоходовых диалогов. В совокупности эти структуры обобщают текущее состояние исследований, выявляют ограничения традиционных практик и предлагают систематизированную основу для их совершенствования. На основе обобщения существующих исследований мы определяем ряд проблем и предлагаем направления дальнейшей работы, включая разработку масштабируемых конвейеров оценки в реальном времени, усовершенствование механизмов обеспечения конфиденциальности и создание устойчивых метрик, отражающих динамику многоходовых взаимодействий. Наш вклад объединяет исторические сведения с современными практиками, открывая путь к системам разговорного искусственного интеллекта нового поколения с надежной оценкой и предлагая исчерп...
Key Findings
1
Дополнительная таксономия классифицирует методы оценки на основе аннотаций, автоматических метрик, гибридных человеческо-количественных подходов и самооценки с помощью LLM.
2
Таксономия объектов оценки охватывает выполнение задач, качество ответов, пользовательский опыт, сохранение памяти и контекста, планирование и интеграцию инструментов.
3
Согласно предложенной структуре, традиционные языковые метрики, такие как BLEU и ROUGE, недостаточны для полного отражения динамики и интерактивности многошаговых диалогов.
4
В качестве приоритетов выделены масштабируемые конвейеры оценки в реальном времени, механизмы сохранения конфиденциальности и устойчивые метрики для динамических многошаговых взаимодействий.
5
В обзоре систематически рассмотрены почти 250 научных источников по оценке агентов на базе больших языковых моделей в многошаговых диалогах.
Research Object
агенты на основе больших языковых моделей (LLM) в условиях многоходовых диалогов
Research Subject
оценка выполнения задач, качества ответов, пользовательского опыта, сохранения памяти и контекста, планирования и интеграции инструментов с использованием методик оценки диалоговых систем
Publication Details
Publication Date
2026-02-14
Journal
Publisher
ISSN
Cited by
27
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai7
Обзор методов оценки больших языковых моделей2024
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
Обзор автономных агентов на основе больших языковых моделей2024
Генеративные агенты: интерактивные симулякры человеческого поведения2023
Технический отчет о GPT-42023
Персонализация диалоговых агентов: У меня есть собака, а у вас есть питомцы?2018
CToolEval: китайский бенчмарк для оценки агентов на основе больших языковых моделей при взаимодействии с API в реальных условиях2024