Оценка качества взаимодействия в диалоге человека и ИИ: интегративный обзор и многоуровневая модель разговорных агентов

Разговорные агенты трансформируют цифровое взаимодействие в различных областях, включая здравоохранение, образование и обслуживание клиентов, благодаря достижениям в области больших языковых моделей (LLM). По мере того как эти системы становятся более автономными и повсеместными, всё более важным становится понимание того, что с точки зрения пользователя представляет собой взаимодействие высокого качества. Несмотря на рост числа эмпирических исследований, в данной области отсутствует единая модель определения, измерения и проектирования воспринимаемого пользователем качества взаимодействия в диалоге человека и искусственного интеллекта (ИИ). В настоящей работе представлен интегративный обзор 125 эмпирических исследований, опубликованных в период с 2017 по 2025 год и посвящённых текстовым, голосовым системам и системам на основе больших языковых моделей. Проведённый синтез выявляет три устойчивых уровня пользовательской оценки: прагматическое ядро (удобство использования, эффективность выполнения задач и коммуникативная компетентность), социально-аффективный уровень (социальное присутствие, доброжелательность и синхронность), а также уровень подотчётности и инклюзивности (прозрачность, доступность и справедливость). Эти результаты формализованы в виде четырёхуровневой интерпретационной модели — «Возможности», «Согласованность», «Инструменты воздействия» и «Результаты», — операционализированной с помощью матрицы «Возможности × Согласованность», отображающей различные режимы успеха и неудачи. Модель также выделяет такие инструменты проектирования, как антропоморфизация, задание ролевой рамки и стратегии первоначального ознакомления. Предложенная модель объединяет ключевые конструкты, рассматривает инклюзивность и подотчётность как центральные компоненты качества и предлагает практические рекомендации по оцениванию и проектированию. Данное исследование переопределяет качество взаимодействия как диалоговый конструкт, смещая фокус с производительности системы на совместно организованное, ориентированное на пользователя качество диалога.