CToolEval: китайский бенчмарк для оценки агентов на основе больших языковых моделей при взаимодействии с API в реальных условиях

Оценка возможностей больших языковых моделей (LLM) как агентов при принятии решений и выполнении операционных задач имеет решающее значение для развития сервисов на основе LLM в качестве агентов. Мы предлагаем CToolEval — бенчмарк для оценки LLM в контексте приложений, ориентированных на китайское общество; он включает 398 API в 27 широко используемых приложениях (например, приложениях для покупок, карт, музыки и путешествий), охватывающих 14 предметных областей. Кроме того, мы представляем платформу оценки, имитирующую сценарии из реальной жизни, для анализа способности LLM вызывать инструменты в процессе обучения работе с инструментами и способности выполнять задачи в ходе взаимодействия с пользователем. Масштабные эксперименты с CToolEval охватывают 11 LLM и показывают, что, хотя GPT-3.5-turbo превосходит другие модели по способности вызывать инструменты, китайские LLM обычно испытывают трудности, связанные, например, с галлюцинациями и недостаточно глубоким пониманием инструментов. Наши результаты подчёркивают необходимость дальнейшего совершенствования способностей LLM к принятию решений и дают представление о путях сокращения разрыва между текущей функциональностью и производительностью на уровне агентов. Для содействия дальнейшим исследованиям, направленным на полноценное использование LLM в качестве надёжных агентов в сложных ситуациях реального мира, мы публикуем наши данные и исходный код по адресу https://github.com/tjunlp-lab/CToolEval.