Оценка качества предоперационных информационных материалов для пациентов, сгенерированных большими языковыми моделями: сравнительное исследование различных моделей и типов хирургических вмешательств

Evaluating the quality of large language model-generated preoperative patient education material: a comparative study across models and surgery types
Junwei Ma, Yunshan Zhang, Gang Wang, Huifeng Tang, Xuemei Yi, Tangsheng Zhong, Xinyun Li
2025-12-11

PEMAT-Pоценка пригодности информационных материалованализ тональности VADERбольшие языковые моделипредоперационное обучение пациентов
Обоснование. Многочисленные исследования подтвердили эффективность больших языковых моделей (LLM) в качестве инструмента информирования пациентов; однако в этих исследованиях преимущественно использовался метод постановки медицинских вопросов. На сегодняшний день не проводилось комплексной оценки качества полноценных предоперационных информационных материалов для пациентов (PEM), сгенерированных LLM, с учетом различий между моделями и типами хирургических вмешательств. Цель. Комплексно оценить и сравнить качество различных типов полноценных предоперационных PEM, сгенерированных шестью распространенными LLM. Дизайн. Поперечное сравнительное исследование. Методы. Шести LLM было предложено сгенерировать предоперационные PEM для шести различных типов хирургических вмешательств. Для каждого типа хирургического вмешательства материалы оценивали три группы экспертов соответствующих областей по 5-балльной шкале с точки зрения точности и полноты. Два исследователя оценивали понятность и практическую применимость материалов с использованием PEMAT-P, а также пригодность материалов с использованием SAM. Кроме того, материалы анализировали по удобочитаемости с помощью показателя Флеша—Кинкейда и по эмоциональной окраске с помощью инструмента сентимент-анализа VADER. Статистический анализ выполняли с использованием критерия Фридмана с последующим апостериорным тестом Коновера и поправкой Бонферрони. Результаты. Полученные данные показывают, что каждая модель имеет свои преимущества в разных измерениях. Все модели продемонстрировали отличные показатели точности, понятности и практической применимости; статистически значимых различий выявлено не было. По полноте Grok-4 и Claude-Opus-4 значительно превосходили GPT-4o. По пригодности наилучший результат показала Claude-Opus-4, а наихудший — Grok-4. По удобочитаемости наиболее понятными были материалы Grok-4 и Gemini-2.5-Pro, тогда как Claude-Opus-4 характеризовалась наименьшей удобочитаемостью. Кроме того, только Gemini-2.5-Pro могла стабильно генерировать материалы с положительной эмоциональной окраской. Заключение. Исследование показало, что материалы, сгенерированные этими моделями, могут достигать высокого уровня по нескольким измерениям, однако идеальной модели не существует. Эти mo...
1
Все модели продемонстрировали высокий уровень точности, понятности и практической применимости; статистически значимых различий по этим параметрам не выявлено.
2
Claude-Opus-4 показала наилучшую пригодность материалов, тогда как Grok-4 — наихудшую среди оценённых моделей.
3
Grok-4 и Claude-Opus-4 значительно превзошли GPT-4o по полноте предоперационных образовательных материалов.
4
Grok-4 и Gemini-2.5-Pro создавали наиболее легко читаемые материалы, Claude-Opus-4 имела самую низкую читаемость, а только Gemini-2.5-Pro стабильно генерировала контент с положительной эмоциональной окраской.
5
Ни одна модель не была лучшей по всем параметрам качества, поэтому выбор модели должен зависеть от конкретного образовательного критерия.
6
В исследовании оценивались полные предоперационные информационные материалы, созданные шестью большими языковыми моделями для шести различных типов хирургических вмешательств.

полные предоперационные информационные материалы для пациентов, сгенерированные шестью большими языковыми моделями для шести типов хирургических вмешательств

качество сгенерированных материалов, включая точность, полноту, понятность, практическую применимость, пригодность, удобочитаемость и эмоциональную окраску, в сравнении между языковыми моделями и типами хирургических вмешательств

Publication Details
Publication Date
2025-12-11
Journal
Publisher
ISSN
Cited by
2
Access Type
Author Information
Authors
Junwei Ma
Yunshan Zhang
Gang Wang
Huifeng Tang
Xuemei Yi
Tangsheng Zhong
Xinyun Li
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%