Автоматическая генерация мультимедийных учебных материалов на основе генеративного ИИ: на примере танской поэзии

Генеративный ИИ широко признан одной из наиболее влиятельных технологий будущего, вызвав парадигмальный сдвиг в научных исследованиях. Область образования также претерпела значительное влияние этой трансформирующей технологии: исследователи изучают применение генеративного ИИ, в частности ChatGPT, в образовании. Однако существующие исследования в основном сосредоточены на генерации текста из текста, и по-прежнему относительно мало работ, посвящённых использованию мультимодальных возможностей генерации для решения ключевых задач обучения, поддерживаемого мультимодальными данными. В настоящей статье мы представляем техническую структуру для генерации ситуационных видеороликов по танской поэзии, делая акцент на использовании генеративного ИИ для удовлетворения потребности в мультимедийных учебных ресурсах. Наша структура включает три основных модуля: семантическое / ситуативное понимание текста, создание изображений и генерацию видео. Кроме того, мы разработали систему генерации ситуационных видеороликов, которая объединяет различные технологии, включая модели текст→текст, модели текст→изображение, интерполяцию изображений, синтез речи из текста и синтез видео. Для оценки эффективности модулей в системе генерации ситуационных видеороликов по танской поэзии мы провели сравнительный анализ с использованием распространённых моделей текст→изображение и текст→видео. Эмпирические результаты показывают, что наш подход способен генерировать изображения с большей семантической схожестью с поэмами, что обеспечивает лучшее понимание коннотаций и ключевых компонентов произведений. Одновременно с этим сгенерированные видеоролики по танской поэзии могут существенно способствовать снижению когнитивной нагрузки и повышению уровня понимания в процессе обучения. Наше исследование демонстрирует потенциал генеративного ИИ в сфере образования, в частности в области мультимодальных учебных ресурсов.