Тестирование программного обеспечения с помощью больших языковых моделей: обзор, ландшафт и видение

Предобученные большие языковые модели (LLM) в последнее время стали прорывной технологией в области обработки естественного языка и искусственного интеллекта, обладая способностью обрабатывать крупномасштабные наборы данных и демонстрировать выдающиеся результаты по широкому кругу задач. В то же время тестирование программного обеспечения является ключевой деятельностью, обеспечивающей качество и надежность программных продуктов. По мере роста объема и сложности программных систем потребность в более эффективных методах тестирования становится все более актуальной, что делает эту область перспективной для инновационных подходов, таких как использование LLM. В статье представлен всесторонний обзор использования LLM в тестировании программного обеспечения. Проанализированы 102 соответствующих исследования, применявших LLM для тестирования программного обеспечения, с позиций как тестирования ПО, так и самих LLM. В работе подробно рассматриваются задачи тестирования ПО, для которых LLM используются наиболее часто; наиболее показательные из них — подготовка тестовых случаев и исправление программ (program repair). Также проанализированы наиболее часто используемые LLM, типы применяемого prompt engineering, а также сопутствующие техники, используемые вместе с этими моделями. Подведены итоги по ключевым проблемам и потенциальным возможностям в данном направлении. Эта работа может послужить дорожной картой для будущих исследований в области, выделяя перспективные направления для изучения и выявляя пробелы в нашем текущем понимании применения LLM в тестировании программного обеспечения.