DataSciBench: бенчмарк LLM-агентов для анализа данных

DataSciBench: An LLM Agent Benchmark for Data Science
Wei Wang, Dan Zhang, Jie Tang, Ziniu Hu, Sining Zhoubian, Cai Min, Fengzu Li, Likun Yang, Tianjiao Dong, Yisong Yue
2026-01-01

бенчмарк DataSciBenchфреймворк «намерение–функция–код»агенты на основе больших языковых моделейоценка для анализа данныхполуавтоматическая генерация эталонной истины
В статье представлен DataSciBench — комплексный бенчмарк для оценки больших языковых моделей (LLM) в задачах анализа данных. В отличие от существующих бенчмарков, ограниченных отдельными задачами, простыми метриками оценки и легкодоступной эталонной разметкой (GT), DataSciBench основан на отобранных естественных и сложных запросах с комплексными критериями оценки и неопределённой эталонной разметкой. Для устранения этого разрыва разработан полуавтоматизированный конвейер генерации эталонной разметки, объединяющий самосогласованность на основе LLM и проверку экспертами для обеспечения точности, заданных типов задач и агрегирующих функций (метрик). Кроме того, предложена инновационная структура Intention–Function–Code (IFC), оценивающая результаты выполнения кода с помощью метрик и программных правил. В рамках оценки 26 моделей (8 моделей, доступных через API, 8 универсальных моделей с открытым исходным кодом, 9 моделей генерации кода и 1 агентной модели) данный подход обеспечивает строгий анализ сильных и слабых сторон LLM. Экспериментальные результаты показывают, что модели, доступные через API, превосходят модели с открытым исходным кодом по всем метрикам, при этом DeepAnalyze-8B демонстрирует лучшие результаты среди моделей с открытым исходным кодом. Весь код и данные доступны по адресу https://github.com/THUDM/DataSciBench/.
1
API-модели превосходят открытые модели по всем метрикам, а DeepAnalyze-8B является лучшей среди открытых моделей.
2
DataSciBench представляет комплексный бенчмарк для оценки LLM на естественных и сложных задачах анализа данных с комплексными критериями и неопределённой эталонной разметкой.
3
Оценка охватывает 26 моделей: API-модели, открытые универсальные модели, модели генерации кода и агентные модели.
4
Фреймворк Intention-Function-Code оценивает результаты выполнения кода с помощью метрик задач и программных правил.
5
Бенчмарк использует полуавтоматический конвейер генерации эталонных ответов, объединяющий самосогласованность LLM и проверку человеком для повышения точности оценки.

Большие языковые модели (LLM) для анализа данных

Их эффективность при выполнении задач анализа данных, включая результаты исполнения кода, оцениваемая с использованием сложных метрик и программных критериев

Publication Details
Publication Date
2026-01-01
Journal
Publisher
ISSN
Cited by
85
Access Type
Author Information
Authors
Wei Wang
Dan Zhang
Jie Tang
Ziniu Hu
Sining Zhoubian
Cai Min
Fengzu Li
Likun Yang
Tianjiao Dong
Yisong Yue
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%