Оценка агентов на основе больших языковых моделей в многоходовых диалогах: обзор

Evaluating LLM-based Agents for Multi-turn Conversations: A Survey
Jindong Wang, 将尚 渡辺, Haoyi Xiong, Jian–Guang Lou, Shengyue Guan, Bin Zhu
2026-02-14

агенты на основе больших языковых моделейметодологии оценкиудержание памяти и контекстамногоходовые диалогиметоды самооценки
В этом обзоре рассматриваются методы оценки агентов на основе больших языковых моделей (LLM) в условиях многоходового взаимодействия. Используя фреймворк, разработанный по аналогии с PRISMA, мы систематически проанализировали почти 250 научных источников, охватив современное состояние исследований в различных изданиях и создав надежную основу для нашего анализа. В работе предложен структурированный подход, основанный на разработке двух взаимосвязанных таксономий: одна определяет, что именно следует оценивать, а другая объясняет, как проводить оценку. Первая таксономия выделяет ключевые компоненты агентов на основе LLM для многоходовых диалогов и соответствующие измерения оценки, включая выполнение задач, качество ответов, пользовательский опыт, сохранение памяти и контекста, а также планирование и интеграцию инструментов. Эти компоненты обеспечивают всестороннюю и содержательную оценку производительности диалоговых агентов. Вторая таксономия посвящена методологиям оценки. Она классифицирует подходы на оценки на основе аннотаций, автоматизированные метрики, гибридные стратегии, сочетающие экспертные оценки с количественными показателями, и методы самооценки с использованием LLM. Эта структура охватывает не только традиционные метрики, основанные на понимании языка, такие как показатели BLEU и ROUGE, но и современные методы, отражающие динамическую и интерактивную природу многоходовых диалогов. В совокупности эти структуры обобщают текущее состояние исследований, выявляют ограничения традиционных практик и предлагают систематизированную основу для их совершенствования. На основе обобщения существующих исследований мы определяем ряд проблем и предлагаем направления дальнейшей работы, включая разработку масштабируемых конвейеров оценки в реальном времени, усовершенствование механизмов обеспечения конфиденциальности и создание устойчивых метрик, отражающих динамику многоходовых взаимодействий. Наш вклад объединяет исторические сведения с современными практиками, открывая путь к системам разговорного искусственного интеллекта нового поколения с надежной оценкой и предлагая исчерп...
1
Дополнительная таксономия классифицирует методы оценки на основе аннотаций, автоматических метрик, гибридных человеческо-количественных подходов и самооценки с помощью LLM.
2
Таксономия объектов оценки охватывает выполнение задач, качество ответов, пользовательский опыт, сохранение памяти и контекста, планирование и интеграцию инструментов.
3
Согласно предложенной структуре, традиционные языковые метрики, такие как BLEU и ROUGE, недостаточны для полного отражения динамики и интерактивности многошаговых диалогов.
4
В качестве приоритетов выделены масштабируемые конвейеры оценки в реальном времени, механизмы сохранения конфиденциальности и устойчивые метрики для динамических многошаговых взаимодействий.
5
В обзоре систематически рассмотрены почти 250 научных источников по оценке агентов на базе больших языковых моделей в многошаговых диалогах.

агенты на основе больших языковых моделей (LLM) в условиях многоходовых диалогов

оценка выполнения задач, качества ответов, пользовательского опыта, сохранения памяти и контекста, планирования и интеграции инструментов с использованием методик оценки диалоговых систем

Publication Details
Publication Date
2026-02-14
Journal
Publisher
ISSN
Cited by
27
Access Type
Author Information
Authors
Jindong Wang
将尚 渡辺
Haoyi Xiong
Jian–Guang Lou
Shengyue Guan
Bin Zhu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%