ChatGPT и обучение тестированию программного обеспечения: обещания и риски

За последнее десятилетие предиктивное языковое моделирование для кода зарекомендовало себя как ценный инструмент, открывающий новые формы автоматизации для разработчиков. В последнее время появились универсальные «большие языковые модели», основанные на нейронных трансформерных архитектурах, обученные на огромных наборах текстов, написанных людьми, включающих код и естественный язык. Тем не менее, несмотря на продемонстрированную представительную мощность таких моделей, ранее взаимодействие с ними было ограничено определёнными задачами, что сужало их общую применимость. Многие из этих ограничений были недавно преодолены с появлением ChatGPT, языковой модели, созданной OpenAI и обученной действовать как разговорный агент, что позволяет ей отвечать на вопросы и выполнять широкий спектр команд пользователей. Появление моделей, таких как ChatGPT, уже вызвало оживлённые дискуссии среди преподавателей — от опасений, что студенты могут использовать эти инструменты ИИ для обхода обучения, до воодушевления по поводу новых видов учебных возможностей, которые они могут открыть. Однако ввиду ещё молодой природы этих инструментов у нас пока недостаточно фундаментальных знаний о том, насколько хорошо они работают в различных образовательных условиях и какую пользу (или опасность) они могут представлять для традиционных форм преподавания. Поэтому в этой статье мы исследуем, насколько хорошо ChatGPT справляется с ответами на типичные вопросы в популярной учебной программе по тестированию программного обеспечения. Мы обнаружили, что при текущих возможностях ChatGPT способен ответить на 77,5% исследованных вопросов и что среди этих ответов 55,6% представляют собой правильные или частично правильные ответы, 53,0% — правильные или частично правильные объяснения ответов, а также что побуждение модели в контексте общего вопроса приводит к незначительно более высокой доле правильных ответов и объяснений. На основе этих результатов мы обсуждаем потенциальные обещания и риски, связанные с использованием ChatGPT студентами и преподавателями.