Галлюцинации больших языковых моделей при практической генерации кода: проявления, механизм и методы устранения

LLM Hallucinations in Practical Code Generation: Phenomena, Mechanism, and Mitigation
Wanjun Zhong, Jiachi Chen, Yanlin Wang, Zibin Zheng, Chong Wang, Mingzhi Mao, Ensheng Shi, Yuchi Ma, Ziyao Zhang
2025-06-22

галлюцинации больших языковых моделейгенерация кодатаксономия галлюцинацийгенерация на уровне репозиториягенерация с дополнением поиска
Генерация кода направлена на автоматическое создание кода на основе заданных требований, что существенно повышает эффективность разработки. Современные подходы на основе больших языковых моделей (LLM) продемонстрировали многообещающие результаты и произвели революцию в задаче генерации кода. Несмотря на высокую эффективность, LLM часто генерируют галлюцинирующий контент, особенно в сценариях генерации кода, требующих обработки сложных контекстных зависимостей в практических процессах разработки. Хотя в предыдущих исследованиях уже анализировались галлюцинации при генерации кода с использованием LLM, они были ограничены генерацией отдельных функций. В данной работе мы проводим эмпирическое исследование проявлений, механизмов и методов устранения галлюцинаций LLM в более практичных и сложных контекстах разработки на уровне репозитория. Сначала мы вручную исследуем результаты генерации кода, полученные с помощью шести ведущих LLM, чтобы разработать таксономию галлюцинаций в коде, генерируемом LLM. Затем подробно характеризуем феномен галлюцинаций и анализируем его распределение между различными моделями. После этого мы анализируем причины галлюцинаций и выявляем четыре потенциальных фактора, способствующих их возникновению. Наконец, мы предлагаем метод устранения галлюцинаций на основе генерации с дополненным поиском (retrieval-augmented generation, RAG), который демонстрирует стабильную эффективность для всех исследованных LLM.
1
Метод смягчения на основе RAG демонстрирует стабильную эффективность против галлюцинаций для всех изученных LLM.
2
Ручной анализ результатов шести распространённых LLM позволяет создать таксономию галлюцинаций в сгенерированном коде.
3
Авторы описывают проявления галлюцинаций и сравнивают их распределение между различными LLM.
4
Исследование рассматривает галлюцинации LLM при генерации кода на уровне репозитория, расширяя предыдущие работы за пределы генерации отдельных функций.
5
Исследование выявляет четыре потенциальных фактора, способствующих галлюцинациям в практической генерации кода.

Код, генерируемый большими языковыми моделями (LLM), при генерации на уровне репозитория

Феномены и механизмы галлюцинаций, факторы, способствующие их возникновению, и эффективность их устранения

Publication Details
Publication Date
2025-06-22
Journal
Publisher
ISSN
Cited by
204
Access Type
Author Information
Authors
Wanjun Zhong
Jiachi Chen
Yanlin Wang
Zibin Zheng
Chong Wang
Mingzhi Mao
Ensheng Shi
Yuchi Ma
Ziyao Zhang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%