ChatGPT и обучение тестированию программного обеспечения: обещания и риски

ChatGPT and Software Testing Education: Promises & Perils
Wing Lam, Sajed Jalil, S. Rafi, Thomas D. LaToza, Kevin Moran, Suzzana Rafi, Kevin Moran, Wing Lam
2023-04-01

ChatGPTавтоматизированное ответы на вопросыоценка ИИ в образованиимодели большого языкаобучение тестированию программного обеспечения
За последнее десятилетие предиктивное языковое моделирование для кода зарекомендовало себя как ценный инструмент, открывающий новые формы автоматизации для разработчиков. В последнее время появились универсальные «большие языковые модели», основанные на нейронных трансформерных архитектурах, обученные на огромных наборах текстов, написанных людьми, включающих код и естественный язык. Тем не менее, несмотря на продемонстрированную представительную мощность таких моделей, ранее взаимодействие с ними было ограничено определёнными задачами, что сужало их общую применимость. Многие из этих ограничений были недавно преодолены с появлением ChatGPT, языковой модели, созданной OpenAI и обученной действовать как разговорный агент, что позволяет ей отвечать на вопросы и выполнять широкий спектр команд пользователей. Появление моделей, таких как ChatGPT, уже вызвало оживлённые дискуссии среди преподавателей — от опасений, что студенты могут использовать эти инструменты ИИ для обхода обучения, до воодушевления по поводу новых видов учебных возможностей, которые они могут открыть. Однако ввиду ещё молодой природы этих инструментов у нас пока недостаточно фундаментальных знаний о том, насколько хорошо они работают в различных образовательных условиях и какую пользу (или опасность) они могут представлять для традиционных форм преподавания. Поэтому в этой статье мы исследуем, насколько хорошо ChatGPT справляется с ответами на типичные вопросы в популярной учебной программе по тестированию программного обеспечения. Мы обнаружили, что при текущих возможностях ChatGPT способен ответить на 77,5% исследованных вопросов и что среди этих ответов 55,6% представляют собой правильные или частично правильные ответы, 53,0% — правильные или частично правильные объяснения ответов, а также что побуждение модели в контексте общего вопроса приводит к незначительно более высокой доле правильных ответов и объяснений. На основе этих результатов мы обсуждаем потенциальные обещания и риски, связанные с использованием ChatGPT студентами и преподавателями.
1
ChatGPT смог ответить на 77,5% вопросов из изученной программы по тестированию программного обеспечения.
2
ChatGPT предоставил правильные или частично правильные объяснения ответов в 53,0% случаев.
3
Из отвеченных вопросов ChatGPT дал правильные или частично правильные ответы в 55,6% случаев.
4
Подсказки ChatGPT в общем контексте вопроса приводят к незначительно более высокому уровню правильных ответов и объяснений.
5
Исследование подчёркивает как потенциальные преимущества, так и риски использования ChatGPT студентами и преподавателями в обучении тестированию ПО.

ChatGPT, оцениваемый по типичным вопросам из популярной учебной программы по тестированию программного обеспечения

Производительность и корректность ответов и объяснений ChatGPT (доля отвеченных вопросов, правильные/частично правильные ответы и объяснения, а также влияние совместного контекстного вопроса) в контексте преподавания тестирования программного обеспечения

Publication Details
Publication Date
2023-04-01
Journal
Publisher
ISSN
Cited by
270
Access Type
Author Information
Authors
Wing Lam
Sajed Jalil
S. Rafi
Thomas D. LaToza
Kevin Moran
Suzzana Rafi
Kevin Moran
Wing Lam
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%