Как ChatGPT показывает себя на экзамене для получения медицинской лицензии в США (USMLE)? Последствия использования крупных языковых моделей для медицинского образования и оценки знаний
How Does ChatGPT Perform on the United States Medical Licensing Examination (USMLE)? The Implications of Large Language Models for Medical Education and Knowledge Assessment
2023-02-08
SCID: 54.1/3rpu3dan
Discuss with AI
ChatGPTнабор данных NBME-Free-Step-1USMLEЭкзамен для получения лицензии врача СШАобъясняющие ответы (логика и информационный контекст)интерактивный инструмент для медицинского образованияоценка знаниймедицинское образованиемедицинское ответы на вопросыпроходной балл (>60%)
Figures from the paper
Abstract (AI)
ChatGPT представляет собой значительный прогресс моделей обработки естественного языка для ответов на медицинские вопросы. Набрав более 60% по набору данных NBME-Free-Step-1, мы демонстрируем, что модель достигает эквивалента проходного балла студента третьего курса медицинского факультета. Кроме того, мы отмечаем способность ChatGPT предоставлять логические рассуждения и информационный контекст в большинстве ответов. В совокупности эти результаты подтверждают потенциал использования ChatGPT в качестве интерактивного инструмента для медицинского образования и поддержки обучения.
Key Findings
1
ChatGPT набирает более 60% по набору данных NBME-Free-Step-1, что эквивалентно проходному баллу для студента-медика третьего курса.
2
ChatGPT часто предоставляет логические рассуждения и информационный контекст в большинстве своих ответов.
3
ChatGPT демонстрирует значительное улучшение в ответах на медицинские вопросы по сравнению с предыдущими моделями обработки естественного языка.
4
Сочетание проходной производительности и объяснительной способности указывает на потенциал ChatGPT как интерактивного инструмента медицинского образования для поддержки обучения.
Research Object
ChatGPT, оценённый на вопросах экзамена United States Medical Licensing Examination (USMLE) / набора NBME-Free-Step-1
Research Subject
Эффективность при ответах на медицинские вопросы, включая эквивалентный проходной балл (>60%), способность предоставлять логическое обоснование и информационный контекст, а также последствия для медицинского образования и оценки знаний
Publication Details
Publication Date
2023-02-08
Journal
Publisher
ISSN
Cited by
2285
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью20
Обзор методов оценки больших языковых моделей2024
Полезность ChatGPT в образовании, исследованиях и практике здравоохранения: систематический обзор перспективных возможностей и обоснованных опасений2023
Практические и этические проблемы использования больших языковых моделей в образовании: систематический обзор с картированием исследований2023
ChatGPT для образования и научных исследований: возможности, угрозы и стратегии2023
Формирование будущего образования: изучение потенциала и последствий применения искусственного интеллекта и ChatGPT в образовательной среде2023
Будущий ландшафт больших языковых моделей в медицине2023
Генеративный искусственный интеллект2023
Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение2023
Роль ChatGPT в высшем образовании: преимущества, проблемы и направления будущих исследований2023
Систематический обзор области применения искусственного интеллекта в медицинском образовании: руководство BEME № 842024
Генеративный искусственный интеллект в здравоохранении: трансляционный путь к применению, интеграции и управлению, основанный на науке о внедрении2024
Система оценки больших языковых моделей в здравоохранении с участием человека, разработанная на основе обзора литературы2024
Повышение эффективности больших языковых моделей для распознавания клинических именованных сущностей с помощью разработки промптов2023
Большие языковые модели в медицине и здравоохранении: приложения, достижения и проблемы2024
Проектирование промптов в медицинском образовании2023
Возможности, проблемы и перспективные направления использования крупных языковых моделей, включая ChatGPT, в медицинском образовании: систематический обзорно-картографический обзор2024
HuntGPT: интеграция обнаружения аномалий на основе машинного обучения и объяснимого искусственного интеллекта с большими языковыми моделями (LLM)2026
Использование ChatGPT в исследованиях взаимодействия человека и компьютера: вводный материал2023
Система цифрового пациента на основе большой языковой модели улучшает навыки сбора анамнеза в офтальмологии2025
Ответы большой языковой модели на медицинские вопросы по стандартным патоморфологическим заключениям2024