Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта
Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models
2023-02-09
SCID: 54.1/z37mnuje
Discuss with AI
медицинское образование с поддержкой ИИChatGPTЭкзамен на получение медицинской лицензии в СШАпринятие клинических решенийбольшие языковые модели
Figures from the paper
Abstract (AI)
Мы оценили результаты большой языковой модели ChatGPT на экзамене на получение медицинской лицензии в США (United States Medical Licensing Examination, USMLE), который состоит из трех экзаменов: Step 1, Step 2CK и Step 3. ChatGPT продемонстрировала результаты на уровне проходного порога или близкие к нему на всех трех экзаменах без специализированного обучения или подкрепления. Кроме того, ChatGPT продемонстрировала высокую степень согласованности и содержательности своих объяснений. Эти результаты свидетельствуют о том, что большие языковые модели могут обладать потенциалом для содействия медицинскому образованию и, возможно, принятию клинических решений.
Key Findings
1
ChatGPT достиг таких результатов без специализированного обучения или дополнительного подкрепления для USMLE.
2
ChatGPT показал результаты на уровне или около порога сдачи на всех трёх экзаменах USMLE: Step 1, Step 2CK и Step 3.
3
Его объяснения продемонстрировали высокую согласованность с ожидаемыми ответами и значительную содержательность.
4
Результаты указывают на потенциальную полезность больших языковых моделей для медицинского образования и, возможно, поддержки принятия клинических решений.
Research Object
ChatGPT (большая языковая модель), оценённая на экзаменах Лицензирования врачей США (USMLE): Step 1, Step 2CK и Step 3
Research Subject
Результаты экзамена относительно порога сдачи, а также согласованность и содержательность объяснений ChatGPT без специализированного обучения или подкрепления
Publication Details
Publication Date
2023-02-09
Journal
Publisher
ISSN
Cited by
3840
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Работы, цитирующие эту статью5
Полезность ChatGPT в образовании, исследованиях и практике здравоохранения: систематический обзор перспективных возможностей и обоснованных опасений2023
ChatGPT: комплексный обзор предпосылок создания, применений, ключевых проблем, предвзятости, этических аспектов, ограничений и перспектив развития2023
ChatGPT и модели OpenAI: предварительный обзор2023
Интерактивная компьютерная поддержка диагностики медицинских изображений с использованием крупных языковых моделей2024
Необходимость учебной программы по искусственному интеллекту в военном медицинском образовании2023