Обзор больших языковых моделей для генерации кода

Большие языковые модели (Large Language Models, LLM) достигли значительных успехов в решении различных задач, связанных с кодом, что привело к формированию направления Code LLM, особенно в области генерации кода, то есть создания исходного кода с помощью LLM на основе описаний на естественном языке. Это быстро развивающееся направление привлекло значительное внимание академических исследователей и специалистов индустрии благодаря его практической значимости для разработки программного обеспечения, что наглядно демонстрирует GitHub Copilot. Несмотря на активное изучение LLM для решения разнообразных задач, связанных с кодом, с позиций обработки естественного языка (Natural Language Processing, NLP), программной инженерии (Software Engineering, SE) или обеих дисциплин, существует заметный дефицит комплексных и актуальных обзоров литературы, посвящённых LLM для генерации кода. В данном обзоре мы стремимся восполнить этот пробел, предлагая систематический обзор литературы, который может служить ценным источником для исследователей, изучающих передовые достижения в области LLM для генерации кода. Мы вводим таксономию для классификации и обсуждения современных разработок в области LLM для генерации кода, охватывая такие аспекты, как подготовка данных, последние достижения, оценка производительности, этические аспекты, воздействие на окружающую среду и практические приложения. Кроме того, мы представляем исторический обзор эволюции LLM для генерации кода и проводим количественный и качественный сравнительный анализ экспериментальных результатов, полученных для Code LLM из оригинальных публикаций, чтобы обеспечить корректное сравнение на бенчмарках HumanEval, MBPP и BigCodeBench с учётом различных уровней сложности и типов программных задач и продемонстрировать последовательное повышение возможностей LLM в генерации кода. Мы выявляем ключевые проблемы и перспективные возможности, связанные с разрывом между академическими исследованиями и практической разработкой. Кроме того, мы создали специализированную ресурсную страницу на GitHub (https://github.com/juyongjiang/CodeLLMSurvey) для постоянного документирования и распространения новейших достижений в этой области.