Как ChatGPT показывает себя на экзамене для получения медицинской лицензии в США (USMLE)? Последствия использования крупных языковых моделей для медицинского образования и оценки знаний

How Does ChatGPT Perform on the United States Medical Licensing Examination (USMLE)? The Implications of Large Language Models for Medical Education and Knowledge Assessment
Aidan Gilson, Conrad Safranek, Thomas Huang, Vimig Socrates, Ling Chi, Richard A. Taylor, David Chartash
2023-02-08
SCID:  54.1/3rpu3dan Discuss with AI
ChatGPTнабор данных NBME-Free-Step-1USMLEЭкзамен для получения лицензии врача СШАобъясняющие ответы (логика и информационный контекст)интерактивный инструмент для медицинского образованияоценка знаниймедицинское образованиемедицинское ответы на вопросыпроходной балл (>60%)
Abstract (AI)
ChatGPT представляет собой значительный прогресс моделей обработки естественного языка для ответов на медицинские вопросы. Набрав более 60% по набору данных NBME-Free-Step-1, мы демонстрируем, что модель достигает эквивалента проходного балла студента третьего курса медицинского факультета. Кроме того, мы отмечаем способность ChatGPT предоставлять логические рассуждения и информационный контекст в большинстве ответов. В совокупности эти результаты подтверждают потенциал использования ChatGPT в качестве интерактивного инструмента для медицинского образования и поддержки обучения.
Key Findings
1
ChatGPT набирает более 60% по набору данных NBME-Free-Step-1, что эквивалентно проходному баллу для студента-медика третьего курса.
2
ChatGPT часто предоставляет логические рассуждения и информационный контекст в большинстве своих ответов.
3
ChatGPT демонстрирует значительное улучшение в ответах на медицинские вопросы по сравнению с предыдущими моделями обработки естественного языка.
4
Сочетание проходной производительности и объяснительной способности указывает на потенциал ChatGPT как интерактивного инструмента медицинского образования для поддержки обучения.
Research Object

ChatGPT, оценённый на вопросах экзамена United States Medical Licensing Examination (USMLE) / набора NBME-Free-Step-1

Research Subject

Эффективность при ответах на медицинские вопросы, включая эквивалентный проходной балл (>60%), способность предоставлять логическое обоснование и информационный контекст, а также последствия для медицинского образования и оценки знаний

Publication Details
Publication Date
2023-02-08
Journal
Publisher
ISSN
Cited by
2152
Access Type
Author Information
Authors
Aidan Gilson
Conrad Safranek
Thomas Huang
Vimig Socrates
Ling Chi
Richard A. Taylor
David Chartash
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%