Большие языковые модели для программной инженерии: систематический обзор литературы

Большие языковые модели (LLM) существенно повлияли на многие области, включая программную инженерию (SE). Многие недавние публикации исследовали применение LLM к различным задачам SE. Тем не менее комплексное понимание применения, эффектов и возможных ограничений LLM в SE всё ещё находится на ранней стадии. Чтобы заполнить этот пробел, мы провели систематический обзор литературы (SLR) по LLM4SE, с особым вниманием к изучению того, как LLM могут быть использованы для оптимизации процессов и результатов. Мы отобрали и проанализировали 395 научных статей с января 2017 по январь 2024 года для ответа на четыре ключевых исследовательских вопроса (RQ). В RQ1 мы классифицируем различные LLM, применявшиеся в задачах SE, характеризуя их отличительные особенности и области применения. В RQ2 мы анализируем методы сбора данных, предварительной обработки и применения, подчёркивая роль хорошо подготовленных наборов данных для успешной реализации LLM в SE. RQ3 исследует стратегии, используемые для оптимизации и оценки производительности LLM в SE. Наконец, RQ4 рассматривает конкретные задачи SE, в которых LLM показали успех на сегодняшний день, иллюстрируя их практический вклад в область. На основе ответов на эти RQ мы обсуждаем современное состояние дела и тенденции, выявляем пробелы в существующих исследованиях и выделяем перспективные направления для дальнейших исследований. Наши артефакты доступны публично по адресу https://github.com/security-pride/LLM4SE_SLR .