Развитие искусственного интеллекта в высшем образовании: сравнительное исследование агентов на основе больших языковых моделей для генерации, совершенствования и оценки экзаменационных вопросов

Трансформационные возможности больших языковых моделей (LLM) меняют подходы к оцениванию образовательных результатов и разработке вопросов в высшем образовании. В исследовании предлагается систематическая платформа использования LLM для совершенствования задач, связанных с вопросами: согласования экзаменационных вопросов с целями курса, повышения их ясности и уровня сложности, а также генерации новых заданий с учетом целей обучения. Исследование охватывает четыре университетских курса — два теоретической и два прикладной направленности, — включающих различные уровни когнитивных процессов в соответствии с таксономией Блума. Сбалансированный набор данных обеспечивает представленность различных категорий и структур вопросов. Разработаны и оценены три агента на основе LLM — VectorRAG, VectorGraphRAG и дообученная LLM — в сравнении с метаоценщиком под контролем экспертов-людей для определения точности согласования и качества объяснений. Надежные аналитические методы, включая моделирование смешанных эффектов, позволяют получить практически применимые выводы для интеграции генеративного искусственного интеллекта в процессы оценивания в университетах. Помимо применения непосредственно к экзаменам, данная методология формирует основу для более широкого внедрения ИИ в послесреднее образование, акцентируя внимание на справедливости, контекстуальной релевантности и сотрудничестве. Полученные результаты предлагают комплексную платформу для согласования контента, созданного ИИ, с целями обучения, описывают эффективные стратегии интеграции и рассматривают такие проблемы, как предвзятость и контекстуальные ограничения. В целом работа подчеркивает потенциал генеративного ИИ для совершенствования оценивания в образовании и одновременно обозначает пути его ответственного внедрения.