Обзор методов оценки больших языковых моделей

Большие языковые модели (LLM) приобретают всё большую популярность в академической и промышленной сферах благодаря беспрецедентно высокой эффективности в различных приложениях. Поскольку LLM продолжают играть важную роль как в научных исследованиях, так и в повседневном использовании, их оценка становится всё более критически важной — не только на уровне отдельных задач, но и на уровне общества для лучшего понимания потенциальных рисков, связанных с этими моделями. В последние годы были предприняты значительные усилия по изучению LLM с различных точек зрения. В данной статье представлен всесторонний обзор методов оценки LLM, сосредоточенный на трёх ключевых аспектах: что оценивать, где оценивать и как оценивать. Во-первых, мы рассматриваем задачи оценки, включая общие задачи обработки естественного языка, рассуждение, применение в медицине, этику, образование, естественные и социальные науки, приложения с использованием агентов и другие области. Во-вторых, мы отвечаем на вопросы «где» и «как», подробно рассматривая методы оценки и эталонные тесты, которые являются важнейшими компонентами оценки производительности LLM. Затем мы обобщаем случаи успешного и неуспешного применения LLM в различных задачах. Наконец, мы освещаем несколько будущих проблем, связанных с оценкой LLM. Наша цель — предоставить исследователям в области оценки LLM ценные сведения, способствующие разработке более эффективных LLM. Основной тезис заключается в том, что оценку следует рассматривать как самостоятельную важную научную дисциплину, способную лучше поддержать развитие LLM. Мы постоянно обновляем соответствующие материалы с открытым исходным кодом по адресу: https://github.com/MLGroupJLU/LLM-eval-survey