Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта
Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models
2023-02-09
SCID: 54.1/z37mnuje
Discuss with AI
медицинское образование с поддержкой ИИChatGPTЭкзамен на получение медицинской лицензии в СШАпринятие клинических решенийбольшие языковые модели
Figures from the paper
Abstract (AI)
Мы оценили результаты большой языковой модели ChatGPT на экзамене на получение медицинской лицензии в США (United States Medical Licensing Examination, USMLE), который состоит из трех экзаменов: Step 1, Step 2CK и Step 3. ChatGPT продемонстрировала результаты на уровне проходного порога или близкие к нему на всех трех экзаменах без специализированного обучения или подкрепления. Кроме того, ChatGPT продемонстрировала высокую степень согласованности и содержательности своих объяснений. Эти результаты свидетельствуют о том, что большие языковые модели могут обладать потенциалом для содействия медицинскому образованию и, возможно, принятию клинических решений.
Key Findings
1
ChatGPT достиг таких результатов без специализированного обучения или дополнительного подкрепления для USMLE.
2
ChatGPT показал результаты на уровне или около порога сдачи на всех трёх экзаменах USMLE: Step 1, Step 2CK и Step 3.
3
Его объяснения продемонстрировали высокую согласованность с ожидаемыми ответами и значительную содержательность.
4
Результаты указывают на потенциальную полезность больших языковых моделей для медицинского образования и, возможно, поддержки принятия клинических решений.
Research Object
ChatGPT (большая языковая модель), оценённая на экзаменах Лицензирования врачей США (USMLE): Step 1, Step 2CK и Step 3
Research Subject
Результаты экзамена относительно порога сдачи, а также согласованность и содержательность объяснений ChatGPT без специализированного обучения или подкрепления
Publication Details
Publication Date
2023-02-09
Journal
Publisher
ISSN
Cited by
4128
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai1
Работы, цитирующие эту статью20
Дискуссионная статья: «Ну и что, если это написал ChatGPT?» Междисциплинарные взгляды на возможности, проблемы и последствия применения генеративного разговорного искусственного интеллекта в исследованиях, практике и политике2023
Обзор методов оценки больших языковых моделей2024
Что, если дьявол — мой ангел-хранитель: ChatGPT как пример использования чат-ботов в образовании2023
Полезность ChatGPT в образовании, исследованиях и практике здравоохранения: систематический обзор перспективных возможностей и обоснованных опасений2023
ChatGPT: комплексный обзор предпосылок создания, применений, ключевых проблем, предвзятости, этических аспектов, ограничений и перспектив развития2023
ChatGPT: генератор бессмыслицы или конец традиционного оценивания в высшем образовании?2023
Преимущества, ограничения и риски GPT-4 как чатбота на основе ИИ для медицины2023
Искусственные галлюцинации в ChatGPT: значение для научной публикации2023
ChatGPT для образования и научных исследований: возможности, угрозы и стратегии2023
SWOT-анализ ChatGPT: последствия для образовательной практики и исследований2023
Сравнение научных аннотаций, сгенерированных ChatGPT, с реальными аннотациями с помощью детекторов и слепых рецензентов2023
Оценка применимости ChatGPT в здравоохранении: анализ различных клинических и исследовательских сценариев2023
Будущий ландшафт больших языковых моделей в медицине2023
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение2023
Роль ChatGPT в высшем образовании: преимущества, проблемы и направления будущих исследований2023
ChatGPT и модели OpenAI: предварительный обзор2023
ChatGPT и рост крупных языковых моделей: новая угроза инфодемии, вызванной ИИ, для общественного здоровья2023
Возвышение ChatGPT: изучение его потенциала в медицинском образовании2023
Систематический обзор области применения искусственного интеллекта в медицинском образовании: руководство BEME № 842024