DataSciBench: бенчмарк LLM-агентов для анализа данных
DataSciBench: An LLM Agent Benchmark for Data Science
2026-01-01
SCID: 54.1/xr3m6j6r
Discuss with AI
бенчмарк DataSciBenchфреймворк «намерение–функция–код»агенты на основе больших языковых моделейоценка для анализа данныхполуавтоматическая генерация эталонной истины
Figures from the paper
Abstract (AI)
В статье представлен DataSciBench — комплексный бенчмарк для оценки больших языковых моделей (LLM) в задачах анализа данных. В отличие от существующих бенчмарков, ограниченных отдельными задачами, простыми метриками оценки и легкодоступной эталонной разметкой (GT), DataSciBench основан на отобранных естественных и сложных запросах с комплексными критериями оценки и неопределённой эталонной разметкой. Для устранения этого разрыва разработан полуавтоматизированный конвейер генерации эталонной разметки, объединяющий самосогласованность на основе LLM и проверку экспертами для обеспечения точности, заданных типов задач и агрегирующих функций (метрик). Кроме того, предложена инновационная структура Intention–Function–Code (IFC), оценивающая результаты выполнения кода с помощью метрик и программных правил. В рамках оценки 26 моделей (8 моделей, доступных через API, 8 универсальных моделей с открытым исходным кодом, 9 моделей генерации кода и 1 агентной модели) данный подход обеспечивает строгий анализ сильных и слабых сторон LLM. Экспериментальные результаты показывают, что модели, доступные через API, превосходят модели с открытым исходным кодом по всем метрикам, при этом DeepAnalyze-8B демонстрирует лучшие результаты среди моделей с открытым исходным кодом. Весь код и данные доступны по адресу https://github.com/THUDM/DataSciBench/.
Key Findings
1
API-модели превосходят открытые модели по всем метрикам, а DeepAnalyze-8B является лучшей среди открытых моделей.
2
DataSciBench представляет комплексный бенчмарк для оценки LLM на естественных и сложных задачах анализа данных с комплексными критериями и неопределённой эталонной разметкой.
3
Оценка охватывает 26 моделей: API-модели, открытые универсальные модели, модели генерации кода и агентные модели.
4
Фреймворк Intention-Function-Code оценивает результаты выполнения кода с помощью метрик задач и программных правил.
5
Бенчмарк использует полуавтоматический конвейер генерации эталонных ответов, объединяющий самосогласованность LLM и проверку человеком для повышения точности оценки.
Research Object
Большие языковые модели (LLM) для анализа данных
Research Subject
Их эффективность при выполнении задач анализа данных, включая результаты исполнения кода, оцениваемая с использованием сложных метрик и программных критериев
Publication Details
Publication Date
2026-01-01
Journal
Publisher
ISSN
Cited by
85
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest