Оценка агентов на основе открытых больших языковых моделей для генерации SQL-запросов и структурированной аналитики реляционных баз данных
Evaluating Open-Source LLM Agents for SQL Generation and Structured Analytics on Relational Databases
2026-01-01
SCID: 54.1/f4fw4rka
Discuss with AI
бенчмарк Spiderмультиагентные системыоткрытые большие языковые моделисемантическая оценка SQLгенерация текста в SQL
Figures from the paper
Abstract (AI)
В настоящем исследовании рассматривается потенциал открытых фундаментальных моделей для анализа структурированных данных с особым акцентом на генерацию SQL-запросов и ориентированную на бизнес интерпретацию в системах на основе одноагентных и многоагентных больших языковых моделей (LLM). Предлагаемая платформа решает практическую задачу, актуальную для сред с высокой интенсивностью аналитики, в которых запросы на естественном языке необходимо преобразовывать в исполняемые, семантически корректные SQL-запросы, а затем интерпретировать в форме, полезной для принятия бизнес-решений. Система оценивается в двух взаимодополняющих условиях: с использованием специально разработанного набора SQL-тестов, основанного на реалистичных задачах маркетинговой и электронной коммерческой аналитики, и общедоступного бенчмарка Spider, который позволяет сопоставлять результаты с предыдущими исследованиями в области преобразования текста в SQL и оценивать обобщающую способность между предметными областями. В анализ включены модели Mistral, Devstral, Qwen2.5-Coder и Qwen3. В рамках специально разработанного набора SQL-тестов производительность оценивалась по точному совпадению, доле безопасных SQL-запросов и независимой семантической оценке. Qwen2.5-Coder продемонстрировала наилучший общий результат, достигнув независимой семантической оценки 90.14% при сохранении доли безопасных SQL-запросов на уровне 98.59%. Следом расположилась Qwen3 с семантической оценкой 77.46% и полностью безопасной генерацией SQL-запросов. Эти результаты показывают, что в специализированных аналитических условиях одного лишь строгого сопоставления на уровне запроса недостаточно для адекватной оценки практической полезности модели, поскольку семантически корректные SQL-запросы могут существенно отличаться от эталонной формулировки. Результаты на бенчмарке Spider дают дополнительные сведения о поведении моделей в более широком контексте. Qwen2.5-Coder достигла наивысшей точности выполнения в одноагентном режиме (72.44%), тогда как Devstral показала лучший результат точного совпадения в одноагентном режиме (28.14%). Qwen3 сохранила конкурентоспособность и продемонстрировала наименьшую задержку в одноагентном режиме (0.41 с) среди оцениваемых моделей. На архитектурном уровне влияние декомпозиции на несколько агентов было неоднородным: в некоторых м...
Key Findings
1
На Spider Qwen2.5-Coder показал наивысшую точность выполнения в одноступенчатом режиме — 72,44%, тогда как Devstral получил лучший показатель точного совпадения — 28,14%.
2
На пользовательском наборе SQL лучшим оказался Qwen2.5-Coder: семантическая оценка составила 90,14% при безопасной генерации SQL на уровне 98,59%.
3
Qwen3 достиг семантической оценки 77,46% и полностью безопасной генерации SQL на пользовательском тестовом наборе.
4
Qwen3 продемонстрировал наименьшую задержку в одноступенчатом режиме — 0,41 секунды; декомпозиция на несколько агентов давала неоднородный эффект и лишь умеренно повышала точность выполнения для некоторых моделей.
5
Предложенный фреймворк оценивает открытые LLM-агенты для генерации исполняемого SQL и бизнес-интерпретации результатов на пользовательских аналитических задачах и бенчмарке Spider.
6
Результаты показывают, что точное совпадение SQL-запросов слишком консервативно для предметно-ориентированной аналитики, поскольку семантически корректные запросы могут значительно отличаться от эталонных.
Research Object
Агенты на основе открытых больших языковых моделей для генерации SQL-запросов и структурированной аналитики в реляционных базах данных
Research Subject
Точность, безопасность и семантическая корректность генерации SQL, эффективность выполнения, задержка и ориентированная на бизнес интерпретация в одноагентных и многоагентных системах
Publication Details
Publication Date
2026-01-01
Journal
Publisher
ISSN
Cited by
3
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest