Возникновение больших языковых моделей как инструментов для подготовки обзоров литературы: систематический обзор с использованием большой языковой модели

The emergence of large language models as tools in literature reviews: a large language model-assisted systematic review
Alexander Bakumenko, Nina Hubig, Leslie Andrew Lenert, Dmitry Scherbakov, Vinita Jansari, Vinita Gangaram Jansari
2025-04-12

модели на основе GPTизвлечение данныхбольшие языковые моделиавтоматизация обзоровсистематический обзор
Цели: Целью настоящего исследования было обобщить использование больших языковых моделей (LLM) при подготовке научных обзоров путем изучения методологических публикаций, описывающих применение LLM для автоматизации подготовки обзоров, и обзорных публикаций, в которых указано, что они были подготовлены при поддержке LLM. Материалы и методы: Поиск проводился в июне 2024 года в базах данных PubMed, Scopus, Dimensions и Google Scholar рецензентами-людьми. Процессы скрининга и извлечения данных выполнялись в Covidence с помощью дополнения на основе модели OpenAI GPT-4o. ChatGPT и Scite.ai использовались для очистки данных, генерации кода для рисунков и подготовки рукописи. Результаты: Из 3788 найденных статей 172 исследования были признаны соответствующими критериям для включения в итоговый обзор. ChatGPT и LLM на основе GPT оказались доминирующей архитектурой для автоматизации подготовки обзоров (n = 126; 73,2%). Было выявлено значительное число проектов по автоматизации подготовки обзоров, однако лишь ограниченное число публикаций (n = 26; 15,1%) представляли собой собственно обзоры, в которых упоминалось использование LLM. Большинство публикаций касалось автоматизации отдельных этапов подготовки обзора, таких как поиск публикаций (n = 60; 34,9%) и извлечение данных (n = 54; 31,4%). При сравнении объединенных показателей эффективности моделей на основе GPT и BERT первые продемонстрировали лучшие результаты при извлечении данных: средняя точность составила 83,0% (SD = 10,4), а полнота — 86,0% (SD = 9,8). Обсуждение и заключение: Наш систематический обзор, выполненный при поддержке LLM, выявил значительное число исследовательских проектов, связанных с автоматизацией подготовки обзоров с использованием LLM. Несмотря на такие ограничения, как более низкая точность извлечения числовых данных, мы ожидаем, что LLM вскоре изменят подходы к проведению научных обзоров.
1
Систематический поиск выявил 172 подходящих исследования по автоматизации обзоров или использованию LLM при подготовке научных обзоров из 3788 найденных публикаций.
2
ChatGPT и LLM на основе GPT доминировали в исследованиях автоматизации обзоров, встречаясь в 126 работах (73,2%).
3
Модели на основе GPT превосходили модели на основе BERT при извлечении данных: объединённая средняя точность составила 83,0%, а полнота — 86,0%; при этом извлечение числовых данных оставалось менее точным.
4
Наиболее часто LLM применялись для поиска публикаций (60 исследований, 34,9%) и извлечения данных (54 исследования, 31,4%).
5
Только 26 исследований (15,1%) являлись полноценными обзорами, в которых прямо указывалось использование LLM.

Большие языковые модели, используемые для автоматизации научных обзоров литературы

Применение больших языковых моделей, их поэтапное использование и эффективность при автоматизации процессов систематического обзора

Publication Details
Publication Date
2025-04-12
Journal
Publisher
ISSN
Cited by
253
Access Type
Author Information
Authors
Alexander Bakumenko
Nina Hubig
Leslie Andrew Lenert
Dmitry Scherbakov
Vinita Jansari
Vinita Gangaram Jansari
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%