ChatGPT и обучение тестированию программного обеспечения: обещания и риски
ChatGPT and Software Testing Education: Promises & Perils
2023-04-01
SCID: 54.1/dh9yzbt4
Discuss with AI
ChatGPTавтоматизированное ответы на вопросыоценка ИИ в образованиимодели большого языкаобучение тестированию программного обеспечения
Figures from the paper
Abstract (AI)
За последнее десятилетие предиктивное языковое моделирование для кода зарекомендовало себя как ценный инструмент, открывающий новые формы автоматизации для разработчиков. В последнее время появились универсальные «большие языковые модели», основанные на нейронных трансформерных архитектурах, обученные на огромных наборах текстов, написанных людьми, включающих код и естественный язык. Тем не менее, несмотря на продемонстрированную представительную мощность таких моделей, ранее взаимодействие с ними было ограничено определёнными задачами, что сужало их общую применимость. Многие из этих ограничений были недавно преодолены с появлением ChatGPT, языковой модели, созданной OpenAI и обученной действовать как разговорный агент, что позволяет ей отвечать на вопросы и выполнять широкий спектр команд пользователей. Появление моделей, таких как ChatGPT, уже вызвало оживлённые дискуссии среди преподавателей — от опасений, что студенты могут использовать эти инструменты ИИ для обхода обучения, до воодушевления по поводу новых видов учебных возможностей, которые они могут открыть. Однако ввиду ещё молодой природы этих инструментов у нас пока недостаточно фундаментальных знаний о том, насколько хорошо они работают в различных образовательных условиях и какую пользу (или опасность) они могут представлять для традиционных форм преподавания. Поэтому в этой статье мы исследуем, насколько хорошо ChatGPT справляется с ответами на типичные вопросы в популярной учебной программе по тестированию программного обеспечения. Мы обнаружили, что при текущих возможностях ChatGPT способен ответить на 77,5% исследованных вопросов и что среди этих ответов 55,6% представляют собой правильные или частично правильные ответы, 53,0% — правильные или частично правильные объяснения ответов, а также что побуждение модели в контексте общего вопроса приводит к незначительно более высокой доле правильных ответов и объяснений. На основе этих результатов мы обсуждаем потенциальные обещания и риски, связанные с использованием ChatGPT студентами и преподавателями.
Key Findings
1
ChatGPT смог ответить на 77,5% вопросов из изученной программы по тестированию программного обеспечения.
2
ChatGPT предоставил правильные или частично правильные объяснения ответов в 53,0% случаев.
3
Из отвеченных вопросов ChatGPT дал правильные или частично правильные ответы в 55,6% случаев.
4
Подсказки ChatGPT в общем контексте вопроса приводят к незначительно более высокому уровню правильных ответов и объяснений.
5
Исследование подчёркивает как потенциальные преимущества, так и риски использования ChatGPT студентами и преподавателями в обучении тестированию ПО.
Research Object
ChatGPT, оцениваемый по типичным вопросам из популярной учебной программы по тестированию программного обеспечения
Research Subject
Производительность и корректность ответов и объяснений ChatGPT (доля отвеченных вопросов, правильные/частично правильные ответы и объяснения, а также влияние совместного контекстного вопроса) в контексте преподавания тестирования программного обеспечения
Publication Details
Publication Date
2023-04-01
Journal
Publisher
ISSN
Cited by
270
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта2023
CodeBERT: предобученная модель для языков программирования и естественных языков2020
Оценка больших языковых моделей, обученных на коде2021
Роботы наступают: исследование влияния OpenAI Codex на обучение программированию для начинающих2022
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью4
Обзор автономных агентов на основе больших языковых моделей2024
ChatGPT для образования и научных исследований: возможности, угрозы и стратегии2023
Большие языковые модели для программной инженерии: обзор и открытые проблемы2023
Использование ChatGPT в исследованиях взаимодействия человека и компьютера: вводный материал2023