Возникновение больших языковых моделей как инструментов для подготовки обзоров литературы: систематический обзор с использованием большой языковой модели

Цели: Целью настоящего исследования было обобщить использование больших языковых моделей (LLM) при подготовке научных обзоров путем изучения методологических публикаций, описывающих применение LLM для автоматизации подготовки обзоров, и обзорных публикаций, в которых указано, что они были подготовлены при поддержке LLM. Материалы и методы: Поиск проводился в июне 2024 года в базах данных PubMed, Scopus, Dimensions и Google Scholar рецензентами-людьми. Процессы скрининга и извлечения данных выполнялись в Covidence с помощью дополнения на основе модели OpenAI GPT-4o. ChatGPT и Scite.ai использовались для очистки данных, генерации кода для рисунков и подготовки рукописи. Результаты: Из 3788 найденных статей 172 исследования были признаны соответствующими критериям для включения в итоговый обзор. ChatGPT и LLM на основе GPT оказались доминирующей архитектурой для автоматизации подготовки обзоров (n = 126; 73,2%). Было выявлено значительное число проектов по автоматизации подготовки обзоров, однако лишь ограниченное число публикаций (n = 26; 15,1%) представляли собой собственно обзоры, в которых упоминалось использование LLM. Большинство публикаций касалось автоматизации отдельных этапов подготовки обзора, таких как поиск публикаций (n = 60; 34,9%) и извлечение данных (n = 54; 31,4%). При сравнении объединенных показателей эффективности моделей на основе GPT и BERT первые продемонстрировали лучшие результаты при извлечении данных: средняя точность составила 83,0% (SD = 10,4), а полнота — 86,0% (SD = 9,8). Обсуждение и заключение: Наш систематический обзор, выполненный при поддержке LLM, выявил значительное число исследовательских проектов, связанных с автоматизацией подготовки обзоров с использованием LLM. Несмотря на такие ограничения, как более низкая точность извлечения числовых данных, мы ожидаем, что LLM вскоре изменят подходы к проведению научных обзоров.