Роботы наступают: исследование влияния OpenAI Codex на обучение программированию для начинающих

Последние достижения в области искусственного интеллекта обусловлены экспоненциальным ростом оцифрованных данных. Обработка естественного языка, в особенности, была трансформирована моделями машинного обучения, такими как GPT-3 от OpenAI, который генерирует человекоподобный текст настолько реалистичный, что его разработчики предупреждали о рисках злоупотребления. В последние месяцы OpenAI выпустила Codex — новую модель глубокого обучения, обученную на Python-коде более чем из 50 миллионов репозиториев GitHub. Получая на входе описание программной задачи на естественном языке, Codex генерирует на выходе код-решение. Он также может объяснять (на английском) входной код, переводить код между языками программирования и выполнять другие задачи. В настоящей работе мы исследуем, как Codex справляется с типичными задачами по вводному курсу программирования. Мы приводим его результаты на реальных вопросах, взятых из экзаменов по вводному программированию, и сравниваем их с результатами студентов, сдававших те же экзамены в обычных условиях, демонстрируя, что Codex обходит большинство студентов по баллам. Затем мы исследуем, как Codex обрабатывает тонкие вариации формулировки задач, используя несколько опубликованных вариантов известной «задачи о количестве осадков» (Rainfall Problem) и один неопубликованный вариант, который мы применяли в преподавании. Мы обнаружили, что модель проходит многие тесты для всех вариантов. Мы также изучаем, насколько варьируются сгенерированные Codex решения, отмечая, что идентичный входной запрос часто приводит к весьма различным решениям с точки зрения алгоритмического подхода и длины кода. Наконец, мы обсуждаем последствия, которые такая технология будет иметь для обучения вычислительным дисциплинам по мере его эволюции, включая как вызовы, так и возможности.