Какие академические поисковые системы подходят для систематических обзоров или метаанализов? Оценка качества поиска в Google Scholar, PubMed и 26 других ресурсах

Строгая идентификация доказательств необходима для систематических обзоров и метаанализов (синтеза доказательств), поскольку отбор выборки релевантных исследований определяет результаты, валидность и объяснительную силу обзора. Однако поисковые системы, обеспечивающие доступ к этим доказательствам, характеризуются различными уровнями точности, полноты и воспроизводимости, а также требуют разного объема усилий. До настоящего времени остается неясным, какие поисковые системы наиболее подходят для синтеза доказательств и почему. Рекомендации по выбору поисковых систем и библиографических баз данных для систематического поиска ограничены и не подкреплены систематической эмпирической оценкой эффективности. В настоящем исследовании изучаются и сравниваются характеристики систематического поиска в 28 широко используемых академических поисковых системах, включая Google Scholar, PubMed и Web of Science. С помощью нового метода, основанного на поисковых запросах, оценивается, насколько хорошо пользователи могут взаимодействовать с каждой системой и извлекать из нее записи. Это первое исследование, демонстрирующее, в какой степени поисковые системы способны эффективно и результативно выполнять булевы поисковые запросы с точки зрения точности, полноты и воспроизводимости. Мы выявили существенные различия в эффективности поисковых систем, что означает неодинаковую пригодность этих систем для систематического поиска. В частности, только половина проанализированных поисковых систем и лишь несколько баз данных открытого доступа могут быть рекомендованы для синтеза доказательств без существенных оговорок. Наши результаты особенно наглядно показывают, почему Google Scholar не подходит в качестве основной поисковой системы. Мы призываем владельцев баз данных учитывать требования синтеза доказательств, а академические журналы — пересмотреть требования к качеству систематических обзоров. Наши результаты призваны помочь исследователям проводить более качественный поиск для подготовки более надежного синтеза доказательств.