Научите ИИ программировать: использование больших языковых моделей в качестве обучаемых агентов для обучения программированию

В данной работе исследуется применение больших языковых моделей (LLM) в качестве обучаемых агентов в рамках обучения через преподавание (LBT). Обучение через преподавание с использованием обучаемых агентов помогает учащимся выявлять пробелы в знаниях и открывать новые знания. Однако программирование обучаемых агентов требует значительных затрат на формализацию предметно-ориентированных знаний. Хотя использование LLM в качестве обучаемых агентов позволяет снизить эти затраты, обширные знания LLM в роли обучаемых препятствуют тому, чтобы учащиеся их обучали. Мы предлагаем конвейер формирования промптов, который ограничивает знания LLM и побуждает их задавать вопросы «почему» и «как» для эффективного формирования знаний. Мы объединили эти методы в TeachYou — среду обучения через преподавание для изучения алгоритмов, — и AlgoBo — чат-бота-обучаемого на основе LLM, способного моделировать предписанные его состоянием знаний ошибочные представления и отсутствие осведомлённости. Техническая оценка подтвердила, что предложенный конвейер формирования промптов позволяет эффективно настраивать способность AlgoBo решать задачи. В межгрупповом исследовании с участием 40 начинающих изучать алгоритмы мы также обнаружили, что вопросы AlgoBo приводили к содержательным с точки зрения знаний диалогам (размер эффекта = 0.71). Наконец, мы обсуждаем особенности проектирования, экономическую эффективность и персонализацию обучаемых агентов на основе LLM.