Использование ChatGPT в исследованиях взаимодействия человека и компьютера: вводный материал

ChatGPT может служить инструментом для текстового анализа в области взаимодействия человека и компьютера, однако его валидность требует проверки. В этом исследовании ChatGPT применяли к: (1) ответам в текстовых полях анкет по девяти интерфейсам дополненной реальности, (2) данным интервью участников, испытавших эти интерфейсы в виртуальном симуляторе, и (3) транскрибированным данным метода «думай вслух» у участников, которые рассматривали настоящую картину и её реплику. С использованием иерархического подхода ChatGPT формировал оценки или сводки для блоков текста, которые затем агрегировались. Результаты показали, что (1) ChatGPT генерировал оценки сентимента интерфейсов, которые крайне сильно коррелировали (r > 0.99) с результатами человеческих шкал оценок и с правилозависимым методом сентимент-анализа (критериальная валидность). Кроме того, (2) при вводе автоматически транскрибированных интервью в ChatGPT он предоставлял содержательные мета-резюме качеств интерфейсов (фасадная валидность). Одно из мета-резюме, проанализированное подробно, показало существенное, но неполное совпадение с контент-анализом, выполненным независимым исследователем (критериальная валидность). Наконец, (3) сводка ChatGPT по данным «думай вслух» выявила тонкие различия между настоящей картиной и репликой (фасадная валидность), что соотвествовало анализу ключевых слов (критериальная валидность). В заключение, наше исследование показывает, что при соблюдении надлежащих мер предосторожности ChatGPT можно использовать как валидный инструмент для анализа текстовых данных.