Грамотность в области искусственного интеллекта и ее значение для стратегий разработки промптов

AI literacy and its implications for prompt engineering strategies
Jan Marco Leimeister, Nils Knoth, Antonia Tolzin, Andreas Janson
2024-04-17

грамотность в области ИИгенеративный ИИвысшее образованиебольшие языковые моделиинжиниринг промптов
Технологии искусственного интеллекта (ИИ) стремительно развиваются. В рамках этого развития большие языковые модели (БЯМ) все чаще используются во взаимодействии людей с системами на основе ИИ, создавая как новые возможности, так и новые вызовы. При целенаправленном взаимодействии с системами ИИ на основе БЯМ разработка промптов сформировалась как навык составления точных и хорошо структурированных инструкций для получения от БЯМ желаемых ответов или информации, что повышает эффективность взаимодействия. Однако исследования того, как неспециалисты используют системы ИИ на основе БЯМ с помощью разработки промптов и как грамотность в области ИИ влияет на поведение при составлении промптов, пока недостаточно. Этот аспект особенно важен с учетом значения БЯМ для высшего образования. В настоящем исследовании мы рассматриваем данный вопрос, предлагаем основанный на навыках подход к разработке промптов и непосредственно анализируем роль грамотности неспециалистов в области ИИ — в частности, студентов — в формировании их навыков разработки промптов. Мы также представляем качественные сведения об интуитивном поведении студентов при взаимодействии с системами ИИ на основе БЯМ. Результаты показывают, что более высокое качество навыков разработки промптов позволяет прогнозировать качество выходных данных БЯМ, что свидетельствует о том, что разработка промптов действительно является необходимым навыком для целенаправленного использования генеративных инструментов ИИ. Кроме того, результаты показывают, что определенные аспекты грамотности в области ИИ могут способствовать повышению качества разработки промптов и целенаправленной адаптации БЯМ в образовании. Поэтому мы выступаем за интеграцию образовательного содержания, посвященного ИИ, в действующие учебные планы, чтобы способствовать формированию гибридного интеллектуального общества, в котором студенты смогут эффективно использовать такие генеративные инструменты ИИ, как ChatGPT.
1
Более качественная разработка промптов предсказывает более высокое качество ответов LLM, подтверждая, что промптинг является необходимым навыком для целенаправленного использования генеративного ИИ.
2
Качественный анализ выявляет интуитивные модели поведения студентов при взаимодействии с системами ИИ на основе LLM.
3
Определённые аспекты ИИ-грамотности студентов способствуют более качественной разработке промптов и более целенаправленной адаптации LLM в образовании.
4
Авторы обосновывают включение образовательного содержания об ИИ в существующие учебные программы, чтобы помочь студентам эффективно использовать генеративные ИИ-инструменты в гибридном интеллектуальном обществе.
5
Исследование предлагает ориентированный на навыки подход к разработке промптов для студентов-неэкспертов, использующих большие языковые модели.

Студенты-неэксперты, взаимодействующие с системами ИИ на базе больших языковых моделей через промпт-инжиниринг

Взаимосвязь между грамотностью студентов в области ИИ, навыками разработки промптов, а также качеством и адаптацией результатов работы больших языковых моделей в высшем образовании

Publication Details
Publication Date
2024-04-17
Journal
Publisher
ISSN
Cited by
339
Access Type
Author Information
Authors
Jan Marco Leimeister
Nils Knoth
Antonia Tolzin
Andreas Janson
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%