Сравнение научных аннотаций, сгенерированных ChatGPT, с реальными аннотациями с помощью детекторов и слепых рецензентов
Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers
2023-04-26
SCID: 54.1/5u4uygpd
Discuss with AI
детектор ИИ (GPT-2 Output Detector)проверка на плагиат / iThenticateChatGPTAUROC 0.94научные рефератыслепые рецензентыscientific abstracts
Figures from the paper
Abstract (AI)
Модели больших языковых моделей, такие как ChatGPT, могут генерировать всё более правдоподобный текст, что создаёт неопределённость относительно точности и добросовестности использования таких моделей в научном письме. Мы собрали пятьдесят научных аннотаций из пяти медицинских журналов с высоким импакт‑фактором и попросили ChatGPT сгенерировать аннотации на основе их заголовков и целевых журналов. Большинство сгенерированных аннотаций были выявлены детектором AI‑выхода («GPT-2 Output Detector»), с показателями «fake» (более высокие значения означают большую вероятность генерации) медиана [межквартильный размах] 99.98% [12.73%, 99.98%] для сгенерированных аннотаций против медианы 0.02% [IQR 0.02%, 0.09%] для оригинальных аннотаций. Площадь под кривой рабочих характеристик приёма-передачи (AUROC) детектора составила 0.94. Сгенерированные аннотации получили более низкие результаты по сравнению с оригиналами при проверке на плагиат через веб‑сервис и iThenticate (более высокие баллы означают большее совпадение текста). В смешанной выборке оригинальных и сгенерированных аннотаций слепые рецензенты правильно определили 68% сгенерированных аннотаций как созданные ChatGPT, но ошибочно пометили 14% оригинальных аннотаций как сгенерированные. Рецензенты отмечали, что различить их оказалось неожиданно трудно, указывая, что предполагаемые сгенерированные аннотации были более расплывчатыми и более формульными. ChatGPT способен писать правдоподобные научные аннотации, однако с полностью вымышленными данными. В зависимости от издательских правил детекторы AI‑контента могут служить редакторским инструментом для поддержания научных стандартов. Границы этичного и приемлемого использования больших языковых моделей для помощи в научном письме всё ещё обсуждаются, и журналы и конференции принимают различные политики.
Key Findings
1
Детекторы ИИ могут быть полезны в качестве редакторского инструмента для поддержания научных стандартов, но этические границы и политики издательств по использованию LLM остаются предметом обсуждения.
2
Детектор ИИ ('GPT-2 Output Detector') присвоил сгенерированным аннотациям медианный 'фейк' балл 99.98% [IQR 12.73%, 99.98%], тогда как оригинальным — 0.02% [IQR 0.02%, 0.09%].
3
Слепые рецензенты правильно определили 68% сгенерированных аннотаций, но ошибочно пометили 14% оригинальных как сгенерированные; рецензенты отмечали, что сгенерированные аннотации более расплывчаты и шаблонны.
4
ChatGPT может генерировать правдоподобные научные аннотации по заголовкам и названию журнала, но эти аннотации содержат полностью сгенерированные данные.
5
Сгенерированные аннотации получили более низкие оценки (т.е. меньше совпадений) в системах проверки плагиата и iThenticate по сравнению с оригинальными аннотациями, что указывает на более новаторную формулировку.
6
AUROC детектора ИИ для разделения сгенерированных и оригинальных аннотаций составил 0.94.
Research Object
Научные рефераты (оригинальные и сгенерированные ChatGPT) из высокоимпактных медицинских журналов
Research Subject
Сравнительная обнаруживаемость и различимость рефератов, сгенерированных ChatGPT, и оригинальных: оценки детектора ИИ (GPT-2 Output Detector и AUROC), результаты проверки на плагиат/iThenticate, точность идентификации слепыми рецензентами и качественные впечатления рецензентов
Publication Details
Publication Date
2023-04-26
Journal
Publisher
ISSN
Cited by
1204
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai5
Scikit-learn: машинное обучение на Python2012
SciPy 1.0: фундаментальные алгоритмы для научных вычислений на языке Python2020
SciPy 1.0: фундаментальные алгоритмы для научных вычислений на языке Python2019
Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта2023
Роль искусственного интеллекта в разработке лекарственных средств: проблемы, возможности и стратегии2023
Работы, цитирующие эту статью20
Дискуссионная статья: «Ну и что, если это написал ChatGPT?» Междисциплинарные взгляды на возможности, проблемы и последствия применения генеративного разговорного искусственного интеллекта в исследованиях, практике и политике2023
Полезность ChatGPT в образовании, исследованиях и практике здравоохранения: систематический обзор перспективных возможностей и обоснованных опасений2023
Общение и списывание: обеспечение академической добросовестности в эпоху ChatGPT2023
ChatGPT: генератор бессмыслицы или конец традиционного оценивания в высшем образовании?2023
Искусственные галлюцинации в ChatGPT: значение для научной публикации2023
Влияние чрезмерной зависимости от диалоговых систем искусственного интеллекта на когнитивные способности студентов: систематический обзор2024
ChatGPT для образования и научных исследований: возможности, угрозы и стратегии2023
SWOT-анализ ChatGPT: последствия для образовательной практики и исследований2023
Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное2024
Будущий ландшафт больших языковых моделей в медицине2023
Роль ChatGPT в высшем образовании: преимущества, проблемы и направления будущих исследований2023
ChatGPT и рост крупных языковых моделей: новая угроза инфодемии, вызванной ИИ, для общественного здоровья2023
Война чат-ботов: Bard, Bing Chat, ChatGPT, Ernie и другие. Новая золотая лихорадка ИИ и её влияние на высшее образование2023
Использование ChatGPT в академическом письме — это (не) форма плагиата: что говорит литература?2023
Фабрикация и плагиат в научных статьях, созданных с использованием искусственного интеллекта, в научном сообществе2023
Смещение обобщения при суммаризации научных исследований большими языковыми моделями2025
Грамотность в области генеративного искусственного интеллекта: двенадцать определяющих компетенций2024
Возможности, проблемы и перспективные направления использования крупных языковых моделей, включая ChatGPT, в медицинском образовании: систематический обзорно-картографический обзор2024
Использование ChatGPT в исследованиях взаимодействия человека и компьютера: вводный материал2023
Оценка больших языковых моделей как вспомогательного инструмента для диагностики сложных медицинских случаев2024