Базовые метрики для оценки эффективности медицинских диалогов на основе генеративного искусственного интеллекта

Генеративный искусственный интеллект призван революционизировать оказание медицинской помощи, преобразовав традиционный уход за пациентами в более персонализированный, эффективный и проактивный процесс. Чат-боты, функционирующие как интерактивные разговорные модели, вероятно, будут способствовать этой ориентированной на пациента трансформации здравоохранения. Предоставляя различные услуги, включая диагностику, персонализированные рекомендации по образу жизни, динамическое планирование последующих приемов и психологическую поддержку, они призваны существенно улучшить показатели здоровья пациентов и одновременно снизить нагрузку на медицинских работников. Жизненно важный характер применения таких систем в здравоохранении требует создания унифицированного и всеобъемлющего набора метрик для оценки разговорных моделей. Существующие метрики оценки, предложенные для различных универсальных больших языковых моделей (LLM), демонстрируют недостаточное понимание медицинских концепций и концепций здоровья, а также их значения для улучшения благополучия пациентов. Кроме того, эти метрики не учитывают ключевые ориентированные на пользователя аспекты, включая формирование доверия, этику, персонализацию, эмпатию, понимание информации пользователем и эмоциональную поддержку. Цель настоящей статьи — рассмотреть современные метрики оценки на основе больших языковых моделей, специально применимые для оценки интерактивных разговорных моделей в здравоохранении. Далее мы представляем всеобъемлющий набор метрик оценки, предназначенный для всестороннего анализа эффективности медицинских чат-ботов с точки зрения конечного пользователя. Эти метрики охватывают оценку способностей к обработке языка, влияния на реальные клинические задачи и эффективности интерактивного общения с пользователями. Наконец, мы обсуждаем проблемы, связанные с определением и внедрением этих метрик, уделяя особое внимание смешивающим факторам, таким как целевая аудитория, методы оценки и техники составления промптов, используемые в процессе оценки.