Использование ChatGPT в исследованиях взаимодействия человека и компьютера: вводный материал
Using ChatGPT for human–computer interaction research: a primer
2023-09-01
SCID: 54.1/zmf3pmrx
Discuss with AI
ChatGPTчеловеко-компьютерное взаимодействиеиерархическая суммаризацияанализ настроенийтекстовый анализ
Figures from the paper
Abstract (AI)
ChatGPT может служить инструментом для текстового анализа в области взаимодействия человека и компьютера, однако его валидность требует проверки. В этом исследовании ChatGPT применяли к: (1) ответам в текстовых полях анкет по девяти интерфейсам дополненной реальности, (2) данным интервью участников, испытавших эти интерфейсы в виртуальном симуляторе, и (3) транскрибированным данным метода «думай вслух» у участников, которые рассматривали настоящую картину и её реплику. С использованием иерархического подхода ChatGPT формировал оценки или сводки для блоков текста, которые затем агрегировались. Результаты показали, что (1) ChatGPT генерировал оценки сентимента интерфейсов, которые крайне сильно коррелировали (r > 0.99) с результатами человеческих шкал оценок и с правилозависимым методом сентимент-анализа (критериальная валидность). Кроме того, (2) при вводе автоматически транскрибированных интервью в ChatGPT он предоставлял содержательные мета-резюме качеств интерфейсов (фасадная валидность). Одно из мета-резюме, проанализированное подробно, показало существенное, но неполное совпадение с контент-анализом, выполненным независимым исследователем (критериальная валидность). Наконец, (3) сводка ChatGPT по данным «думай вслух» выявила тонкие различия между настоящей картиной и репликой (фасадная валидность), что соотвествовало анализу ключевых слов (критериальная валидность). В заключение, наше исследование показывает, что при соблюдении надлежащих мер предосторожности ChatGPT можно использовать как валидный инструмент для анализа текстовых данных.
Key Findings
1
Детальное мета-резюме от ChatGPT показало существенное, но неидеальное совпадение с контент-анализом независимого исследователя, что подтверждает критерную валидность.
2
ChatGPT сгенерировал оценки сентимента для девяти интерфейсов дополненной реальности, которые коррелировали чрезвычайно сильно (r > 0.99) с оценками людей по шкале.
3
Оценки сентимента ChatGPT также чрезвычайно сильно коррелировали (r > 0.99) с методом правилового анализа сентимента, демонстрируя критерную валидность.
4
Резюме ChatGPT по данным «think-aloud» выявили тонкие различия между реальной картиной и репликой, соответствующие различиям, найденным с помощью анализа ключевых слов (face и criterion validity).
5
В целом, при соблюдении соответствующих предосторожностей ChatGPT может быть валидным инструментом для анализа текстовых данных в исследованиях человеко-компьютерного взаимодействия.
6
При вводе автоматически транскрибированных интервью ChatGPT создавал содержательные мета-резюме качеств интерфейсов, демонстрируя валидность по лицу (face validity).
Research Object
ChatGPT, используемый как инструмент для анализа текстовых данных в исследованиях человеко‑компьютерного взаимодействия (ответы в текстовых полях анкеты, транскрипты интервью и транскрипты «think‑aloud»)
Research Subject
Достоверность и эффективность ChatGPT при формировании оценок сентимента, резюме и мета‑резюме текстовых данных в HCI, оценённые через критерийную и внешнюю валидность по сравнению с человеческими оценками, правиловыми методами анализа и контент/ключевым анализом
Publication Details
Publication Date
2023-09-01
Journal
Publisher
ISSN
Cited by
142
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai13
Использование тематического анализа в психологии2006
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
VADER: экономная модель на основе правил для анализа тональности текстов социальных медиа2014
Образование в эпоху генеративного искусственного интеллекта (ИИ): понимание потенциальных преимуществ ChatGPT в развитии преподавания и обучения2023
Как ChatGPT показывает себя на экзамене для получения медицинской лицензии в США (USMLE)? Последствия использования крупных языковых моделей для медицинского образования и оценки знаний2023
ChatGPT: генератор бессмыслицы или конец традиционного оценивания в высшем образовании?2023
Искры искусственного общего интеллекта: ранние эксперименты с GPT-42023
Сравнение научных аннотаций, сгенерированных ChatGPT, с реальными аннотациями с помощью детекторов и слепых рецензентов2023
Сотрудничество с ChatGPT: осмысление последствий использования генеративного искусственного интеллекта для журналистики и медиаобразования2023
Каталог шаблонов промптов для совершенствования инженерии промптов с помощью ChatGPT2023
Автоматизированный анализ текста для исследований потребителей2017
Сравнение научных аннотаций, сгенерированных ChatGPT, с оригинальными аннотациями с использованием детектора AI-выхода, детектора плагиата и слепых рецензентов2022
ChatGPT и обучение тестированию программного обеспечения: обещания и риски2023