Почему большинство опубликованных результатов исследований являются ложными
Why Most Published Research Findings Are False
2005-08-02
SCID: 54.1/ngjkdjyj
Discuss with AI
множественное тестированиепредвзятость публикацийрезультаты исследованийстепени свободы исследователямощность исследования
Figures from the paper
Abstract (AI)
Растет обеспокоенность тем, что большинство современных опубликованных результатов исследований являются ложными. Вероятность истинности научного утверждения может зависеть от статистической мощности и систематической ошибки исследования, количества других исследований по тому же вопросу и, что особенно важно, соотношения истинных и отсутствующих взаимосвязей среди взаимосвязей, изучаемых в каждой научной области. В рамках этого подхода результат исследования с меньшей вероятностью является истинным, если исследования, проводимые в данной области, имеют меньший размер выборки; размеры эффектов меньше; число проверяемых взаимосвязей больше, а их предварительный отбор менее строг; существует большая гибкость в дизайне исследований, определениях, исходах и методах анализа; выше финансовая и иная заинтересованность, а также предвзятость; и если в научной области больше коллективов стремятся получить статистическую значимость. Моделирование показывает, что для большинства дизайнов исследований и условий вероятность ложности научного утверждения выше, чем вероятность его истинности. Более того, во многих современных научных областях заявленные результаты исследований могут зачастую быть лишь точными измерениями господствующей систематической ошибки. В этом эссе я обсуждаю последствия этих проблем для проведения и интерпретации исследований.
Key Findings
1
Во многих научных областях опубликованные результаты могут в основном отражать преобладающую систематическую ошибку, а не точные реальные взаимосвязи.
2
Научные результаты с меньшей вероятностью истинны при малых размерах исследований, малых эффектах, массовом тестировании, гибкости методологии, конфликте интересов и большом числе команд, стремящихся к статистической значимости.
3
Моделирование показывает, что в большинстве дизайнов исследований и условий опубликованное научное утверждение с большей вероятностью ложно, чем истинно.
4
Вероятность истинности научного утверждения зависит от статистической мощности и систематических ошибок исследований, числа исследований и соотношения истинных и нулевых связей в конкретной области.
Research Object
Опубликованные результаты исследований и научные утверждения в различных научных областях
Research Subject
Вероятность истинности или ложности научных утверждений в зависимости от статистической мощности исследований, систематической ошибки, величины эффекта, множественности и предварительного отбора проверяемых связей, гибкости методологии, конфликта интересов и участия исследовательских групп
Publication Details
Publication Date
2005-08-02
Journal
Publisher
ISSN
Cited by
11370
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai3
«Золотой век» пробиотиков: систематический обзор и метаанализ рандомизированных и наблюдательных исследований у недоношенных детей2017
Метаанализ наблюдательных исследований в эпидемиологии: предложение по отчетности2000
Оценка вероятности того, что положительный результат является ложным: подход для исследований в области молекулярной эпидемиологии2004
Работы, цитирующие эту статью20
phyloseq: пакет R для воспроизводимого интерактивного анализа и визуализации данных о составе микробиома2013
Оценка воспроизводимости психологической науки2015
Доказательные рекомендации по терапевтическому применению повторяющейся транскраниальной магнитной стимуляции (рТМС): обновление (2014–2018 гг.)2019
… и кросс-секция ожидаемых доходностей2015
iDEP: интегрированное веб-приложение для анализа дифференциальной экспрессии и сигнальных путей по данным RNA-Seq2018
Автоматизированное машинное обучение2019
Научная утопия2012
Нарушения научной добросовестности являются причиной большинства отзывов научных публикаций2012
Репликации в психологических исследованиях2012
Машинное обучение для медицинской визуализации: методологические недостатки и рекомендации на будущее2022
Воспроизводимость, устойчивость и репродуцируемость в психологической науке2021
Открытая крупномасштабная совместная работа по оценке воспроизводимости психологической науки2012
Академическое, экономическое и общественное воздействие открытого доступа: обзор на основе фактических данных2016
10 наиболее надежно воспроизведенных результатов в поведенческой генетике2016
Когда проверка статистической значимости нулевой гипотезы непригодна для научных исследований: переоценка2017
Масштаб непубликации в когортах исследований, одобренных комитетами по этике исследований или включённых в реестры клинических испытаний2014
К графу знаний для науки2018
Универсальные программы профилактики злоупотребления алкоголем у детей и подростков: систематические обзоры Cochrane2012
О будущем исследований международных совместных предприятий2019
Проблемы воспроизводимости в спортивной науке и науке о физических упражнениях: нарративный обзор отдельных методологических вопросов в данной области2022