Оценка качества предоперационных информационных материалов для пациентов, сгенерированных большими языковыми моделями: сравнительное исследование различных моделей и типов хирургических вмешательств
Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types
2025-12-11
SCID: 54.1/jxmgcutt
Discuss with AI
PEMAT-Pоценка пригодности информационных материалованализ тональности VADERбольшие языковые моделипредоперационное обучение пациентов
Figures from the paper
Abstract (AI)
Обоснование. Многочисленные исследования подтвердили эффективность больших языковых моделей (LLM) в качестве инструмента информирования пациентов; однако в этих исследованиях преимущественно использовался метод постановки медицинских вопросов. На сегодняшний день не проводилось комплексной оценки качества полноценных предоперационных информационных материалов для пациентов (PEM), сгенерированных LLM, с учетом различий между моделями и типами хирургических вмешательств. Цель. Комплексно оценить и сравнить качество различных типов полноценных предоперационных PEM, сгенерированных шестью распространенными LLM. Дизайн. Поперечное сравнительное исследование. Методы. Шести LLM было предложено сгенерировать предоперационные PEM для шести различных типов хирургических вмешательств. Для каждого типа хирургического вмешательства материалы оценивали три группы экспертов соответствующих областей по 5-балльной шкале с точки зрения точности и полноты. Два исследователя оценивали понятность и практическую применимость материалов с использованием PEMAT-P, а также пригодность материалов с использованием SAM. Кроме того, материалы анализировали по удобочитаемости с помощью показателя Флеша—Кинкейда и по эмоциональной окраске с помощью инструмента сентимент-анализа VADER. Статистический анализ выполняли с использованием критерия Фридмана с последующим апостериорным тестом Коновера и поправкой Бонферрони. Результаты. Полученные данные показывают, что каждая модель имеет свои преимущества в разных измерениях. Все модели продемонстрировали отличные показатели точности, понятности и практической применимости; статистически значимых различий выявлено не было. По полноте Grok-4 и Claude-Opus-4 значительно превосходили GPT-4o. По пригодности наилучший результат показала Claude-Opus-4, а наихудший — Grok-4. По удобочитаемости наиболее понятными были материалы Grok-4 и Gemini-2.5-Pro, тогда как Claude-Opus-4 характеризовалась наименьшей удобочитаемостью. Кроме того, только Gemini-2.5-Pro могла стабильно генерировать материалы с положительной эмоциональной окраской. Заключение. Исследование показало, что материалы, сгенерированные этими моделями, могут достигать высокого уровня по нескольким измерениям, однако идеальной модели не существует. Эти mo...
Key Findings
1
Все модели продемонстрировали высокий уровень точности, понятности и практической применимости; статистически значимых различий по этим параметрам не выявлено.
2
Claude-Opus-4 показала наилучшую пригодность материалов, тогда как Grok-4 — наихудшую среди оценённых моделей.
3
Grok-4 и Claude-Opus-4 значительно превзошли GPT-4o по полноте предоперационных образовательных материалов.
4
Grok-4 и Gemini-2.5-Pro создавали наиболее легко читаемые материалы, Claude-Opus-4 имела самую низкую читаемость, а только Gemini-2.5-Pro стабильно генерировала контент с положительной эмоциональной окраской.
5
Ни одна модель не была лучшей по всем параметрам качества, поэтому выбор модели должен зависеть от конкретного образовательного критерия.
6
В исследовании оценивались полные предоперационные информационные материалы, созданные шестью большими языковыми моделями для шести различных типов хирургических вмешательств.
Research Object
полные предоперационные информационные материалы для пациентов, сгенерированные шестью большими языковыми моделями для шести типов хирургических вмешательств
Research Subject
качество сгенерированных материалов, включая точность, полноту, понятность, практическую применимость, пригодность, удобочитаемость и эмоциональную окраску, в сравнении между языковыми моделями и типами хирургических вмешательств
Publication Details
Publication Date
2025-12-11
Journal
Publisher
ISSN
Cited by
2
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai3
Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта2023
Искусственный интеллект: мощная парадигма для научных исследований2021
Большие языковые модели в обучении пациентов: обзор области применения в медицине2024