Оценка искусственного интеллекта в обучении пациентов: DeepSeek-V3 и ChatGPT-4o в ответах на распространённые вопросы о лапароскопической холецистэктомии
Evaluating Artificial Intelligence in Patient Education: DeepSeek ‐ V3 Versus ChatGPT ‐4o in Answering Common Questions on Laparoscopic Cholecystectomy
2025-06-11
SCID: 54.1/dgdqpvq5
Discuss with AI
ChatGPT-4oDeepSeek-V3лапароскопическая холецистэктомиябольшие языковые моделиобразование пациентов
Figures from the paper
Abstract (AI)
ВВЕДЕНИЕ: Большие языковые модели на основе искусственного интеллекта (ИИ-LLM) приобрели популярность по сравнению с традиционными поисковыми системами для получения медицинской информации. Однако точность и надёжность медицинских сведений, генерируемых ИИ, по-прежнему являются предметом дискуссий. Недавно была представлена новая большая языковая модель на основе ИИ — DeepSeek-V3, разработанная в Восточной Азии. Целью настоящего исследования была оценка уместности, точности и понятности ответов, а также пригодности этих ответов для обучения пациентов, предоставляемых ИИ-LLM ChatGPT-4o и DeepSeek-V3 на часто задаваемые пациентами вопросы о лапароскопической холецистэктомии (ЛХ). МЕТОДЫ: Чат-ботам DeepSeek-V3 и ChatGPT-4o были заданы 20 наиболее часто задаваемых пациентами вопросов о ЛХ. Перед каждым вопросом история поиска удалялась. Полнота ответов оценивалась на основе клинического опыта двумя сертифицированными хирургами общего профиля, имеющими опыт в гепатобилиарной хирургии, с использованием шкалы Лайкерта. Применялись парный t-критерий и критерий знаковых рангов Вилкоксона. Межэкспертная надёжность оценивалась с помощью κ-критерия Коэна. РЕЗУЛЬТАТЫ: Чат-бот DeepSeek-V3 предоставлял статистически значимо более подходящие ответы по сравнению с ChatGPT-4o (p = 0.033). По шкале Лайкерта DeepSeek-V3 получил оценку 5 баллов для 19 из 20 вопросов (95%), тогда как ChatGPT-4o получил оценку 5 баллов только для 13 вопросов (65%). Согласно оценке, проведённой с учётом клинического опыта экспертов, DeepSeek-V3 предоставлял статистически значимо более уместные ответы (p = 0.008). ЗАКЛЮЧЕНИЕ: Выпущенная в январе 2025 года модель DeepSeek-V3 предоставляет более подходящие ответы на вопросы пациентов о ЛХ по сравнению с ChatGPT-4o.
Key Findings
1
Клинические эксперты также сочли ответы DeepSeek-V3 статистически значимо более уместными, чем ответы ChatGPT-4o (p = 0,008).
2
По оценкам хирургов, DeepSeek-V3 давал статистически значимо более подходящие ответы, чем ChatGPT-4o (p = 0,033).
3
DeepSeek-V3 получил наивысшую оценку по шкале Лайкерта для 19 из 20 вопросов (95%), тогда как ChatGPT-4o — для 13 из 20 (65%).
4
Результаты указывают, что DeepSeek-V3 может быть более подходящим инструментом, чем ChatGPT-4o, для информирования пациентов о лапароскопической холецистэктомии.
5
В исследовании сравнивались ответы DeepSeek-V3 и ChatGPT-4o на 20 часто задаваемых пациентами вопросов о лапароскопической холецистэктомии.
Research Object
Ответы DeepSeek-V3 и ChatGPT-4o на часто задаваемые пациентами вопросы о лапароскопической холецистэктомии
Research Subject
Сравнительная оценка уместности, точности, полноты, понятности и пригодности ответов, генерируемых ИИ, для обучения пациентов
Publication Details
Publication Date
2025-06-11
Journal
Publisher
ISSN
Cited by
20
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest