Большие языковые модели для программной инженерии: систематический обзор литературы

Большие языковые модели (LLM) оказали значительное влияние на многочисленные области, включая программную инженерию (SE). Во многих недавних публикациях исследуется применение LLM к различным задачам программной инженерии. Тем не менее всестороннее понимание применения, эффектов и возможных ограничений LLM в программной инженерии все еще находится на ранней стадии. Для восполнения этого пробела мы провели систематический обзор литературы (SLR) по применению LLM в программной инженерии (LLM4SE), уделив особое внимание изучению того, как LLM могут использоваться для оптимизации процессов и результатов. Мы отобрали и проанализировали 395 научных публикаций, опубликованных с января 2017 года по январь 2024 года, чтобы ответить на четыре ключевых исследовательских вопроса (RQ). В рамках RQ1 мы классифицировали различные LLM, применявшиеся для решения задач программной инженерии, охарактеризовав их отличительные особенности и области использования. В рамках RQ2 мы проанализировали методы сбора и предварительной обработки данных, а также их применения, подчеркнув роль тщательно подготовленных наборов данных в успешной реализации LLM для программной инженерии. В рамках RQ3 исследовали стратегии оптимизации и оценки производительности LLM в программной инженерии. Наконец, в рамках RQ4 рассмотрели конкретные задачи программной инженерии, в которых LLM уже продемонстрировали успешность, показав их практический вклад в эту область. На основе ответов на эти вопросы мы обсудили современное состояние исследований и тенденции, выявили пробелы в существующих работах и обозначили перспективные направления для дальнейшего изучения. Созданные нами материалы доступны по адресу: https://github.com/xinyi-hou/LLM4SE_SLR.