Совершенствование подготовки по психиатрии с использованием имитационного инструмента консультации на основе агентного искусственного интеллекта: проспективное когортное исследование
Enhancing Psychiatry Training Using an Agentic AI Simulated Consultation Tool: Prospective Cohort Study
2026-07-21
SCID: 54.1/gcfpx7nv
Discuss with AI
оценка STACERагентный искусственный интеллектбольшие языковые моделиобучение психиатриисимулированные встречи с пациентом
Figures from the paper
Abstract (AI)
Обоснование: Врачи-резиденты по психиатрии в Канаде должны демонстрировать компетентность в проведении консультаций, оцениваемую с помощью стандартизированного отчета об оценке клинического взаимодействия (STACER). Однако возможности практиковать эти навыки и получать конструктивную оценку в клинических условиях остаются ограниченными. Цель: Оценить техническую осуществимость системы агентного искусственного интеллекта, предназначенной для поддержки консультативной компетентности врачей-резидентов по психиатрии посредством имитации взаимодействия с пациентом с использованием агента пациента и структурированной обратной связи от агента-оценщика. Методы: Проведено двухэтапное проспективное однораспределительное когортное исследование технической осуществимости системы STACER Agentic System — платформы на основе большой языковой модели, объединяющей агента пациента и агента-оценщика. На первом этапе агент пациента автоматически оценивался с помощью агента-психиатра на 227 синтетических случаях большого депрессивного расстройства. Показатели эффективности оценивали с использованием метрик DeepEval (корректность, ясность, медицинская достоверность, релевантность реплики и соблюдение роли), применяя описательную статистику и 95% доверительные интервалы. На втором этапе проведено предварительное пользовательское исследование с участием 14 человек, отобранных методом удобной выборки: 5 членов клинической исследовательской группы и 9 врачей-резидентов по психиатрии из Университета Альберты. Участники выполняли имитационные диагностические интервью и представляли клинические случаи. Эффективность оценивали на основе балльной системы STACER с помощью агента-оценщика и 2 психиатров. Межэкспертную надежность оценивали с использованием коэффициентов внутриклассовой корреляции (α=.05). Участники оценивали реалистичность, поведенческую последовательность, психиатрическую нюансированность и полезность обратной связи по шкалам Лайкерта и в свободных текстовых ответах. Результаты: Агент пациента продемонстрировал высокую точность воспроизведения поведения (51/56, 91,07%) и симптомов (105/110, 95,45%), а также высокие результаты автоматической оценки (средняя медицинская достоверность 0,99; 95% ДИ 0,99–1,00; релевантность реплики 0,99; 95% ДИ 0,986–0,992). Участники оценили симуляции как психиатрически правдоподобные и полезные для диагностики, особенно для д...
Key Findings
1
В 227 синтетических случаях большого депрессивного расстройства агент пациента продемонстрировал высокую поведенческую достоверность (91,07%) и достоверность воспроизведения симптомов (95,45%).
2
Автоматическая оценка показала высокую медицинскую достоверность агента пациента (среднее значение 0,99) и релевантность его реплик (среднее значение 0,99).
3
В предварительном исследовании с участием 14 человек симуляции были признаны психиатрически правдоподобными и полезными для диагностики, что подтверждает техническую осуществимость системы.
4
Система STACER Agentic объединяет агента виртуального пациента и агента-оценщика для обучения психиатрическим консультациям и предоставления структурированной обратной связи.
5
Оценивание проводилось по шкалам STACER агентом-оценщиком и двумя психиатрами; межэкспертная надежность оценивалась с помощью внутриклассовых коэффициентов корреляции.
Research Object
Агентная система STACER для симулированных психиатрических консультаций, включающая агента пациента и агента-оценщика
Research Subject
Техническая осуществимость системы и её способность развивать консультационную компетентность ординаторов-психиатров посредством реалистичных симулированных встреч и структурированной обратной связи
Publication Details
Publication Date
2026-07-21
Journal
Publisher
ISSN
Cited by
1
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest