Большие языковые модели для программной инженерии: обзор и открытые проблемы
Large Language Models for Software Engineering: Survey and Open Problems
2023-05-14
SCID: 54.1/44af5438
Discuss with AI
LLM для кодированияБольшие языковые моделиПрограммная инженериягаллюцинациигибридные методы (традиционная ПИ + LLM)
Figures from the paper
Abstract (AI)
В статье представлен обзор новой области применения больших языковых моделей (Large Language Models, LLMs) в программной инженерии (Software Engineering, SE) и изложены открытые исследовательские задачи по применению LLM к техническим проблемам, с которыми сталкиваются инженеры-программисты. Эмерджентные свойства LLM приносят новизну и творческий потенциал, с применениями по всему спектру видов деятельности в программной инженерии, включая кодирование, проектирование, формулирование требований, исправление ошибок, рефакторинг, повышение производительности, документацию и аналитические задачи. В то же время эти же эмерджентные свойства создают существенные технические проблемы: необходимы методы, которые могут надежно выявлять и устранять некорректные решения, такие как «галлюцинации». Наш обзор подчеркивает ключевую роль гибридных подходов (традиционные методы SE в сочетании с LLM) в разработке и внедрении надежных, эффективных и результативных инструментов программной инженерии на основе LLM.
Key Findings
1
Эмерджентные свойства LLM также создают серьёзные технические проблемы, в частности генерацию некорректных решений и галлюцинаций, которые необходимо надёжно выявлять и устранять.
2
Гибридные подходы, сочетающие традиционные методы разработки ПО и LLM, имеют ключевую роль в создании надёжных, эффективных и работоспособных систем SE на базе LLM.
3
У LLM есть эмерджентные свойства, которые обеспечивают новые творческие применения во многих задачах разработки ПО (кодирование, дизайн, требования, исправление, рефакторинг, производительность, документация, аналитика).
4
В статье обозначены открытые исследовательские задачи по применению LLM к практическим техническим проблемам, с которыми сталкиваются инженеры-программисты.
Research Object
Большие языковые модели, применяемые к задачам разработки программного обеспечения
Research Subject
Возможности, ограничения, возникающие поведения, проблемы надёжности (например, галлюцинации) и стратегии гибридной интеграции больших языковых моделей в различные виды деятельности по разработке ПО (кодирование, проектирование, требования, исправление, рефакторинг, повышение производительности, документация, аналитика)
Publication Details
Publication Date
2023-05-14
Journal
Publisher
ISSN
Cited by
650
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
LLaMA: открытые и эффективные базовые языковые модели2023
PaLM: Масштабирование языкового моделирования с помощью Pathways2022
Законы масштабирования нейронных языковых моделей2020
Искры искусственного общего интеллекта: ранние эксперименты с GPT-42023
Оценка больших языковых моделей, обученных на коде2021
Большие языковые модели для программной инженерии: систематический обзор литературы2024
ChatGPT и обучение тестированию программного обеспечения: обещания и риски2023
Работы, цитирующие эту статью4
Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное2024
Большие языковые модели для программной инженерии: систематический обзор литературы2024
Тестирование программного обеспечения с помощью больших языковых моделей: обзор, ландшафт и видение2024
Обзор больших языковых моделей для генерации кода2025