Оценка воспроизводимости психологической науки

Estimating the reproducibility of psychological science
Alexander A. Aarts, Open Science Collaboration
2015-08-27

снижение величины эффекта (репликация vs оригинал)экспериментальные и корреляционные исследованиярепликационные исследованиявоспроизводимость психологической наукиуровни статистической значимости при репликации
Воспроизводимость является определяющей чертой науки, однако степень, в которой она характеризует текущие исследования, неизвестна. Мы провели репликации 100 экспериментальных и корреляционных исследований, опубликованных в трех психологических журналах, используя высокомощные дизайны и оригинальные материалы, когда они были доступны. Эффекты при репликации оказались вдвое меньше по величине, чем первоначальные эффекты, что представляет собой значительное снижение. В 97% первоначальных исследований результаты были статистически значимыми. В 36% репликаций результаты были статистически значимыми; 47% исходных величин эффекта попадали в 95% доверительный интервал величины эффекта репликации; 39% эффектов были субъективно оценены как воспроизведшие первоначальный результат; и если не предполагать смещения в первоначальных результатах, объединение исходных и репликационных результатов оставляло 68% со статистически значимыми эффектами. Корреляционные тесты показывают, что успешность репликации лучше предсказывалась силой исходных доказательств, чем характеристиками команд, проводивших исходные и репликационные исследования.
1
39% эффектов были субъективно оценены как воспроизведенные по сравнению с оригинальным результатом.
2
47% оригинальных размеров эффекта попали в 95% доверительный интервал размеров эффекта при репликации.
3
97% оригинальных исследований сообщили статистически значимые результаты, тогда как только 36% репликаций были статистически значимыми.
4
Если предположить отсутствие смещения в оригинальных результатах, объединение оригинальных и репликационных данных дало 68% статистически значимых эффектов.
5
Эффекты при репликации составили половину по величине от оригинальных эффектов, что указывает на существенное снижение размеров эффектов.
6
Успех репликации лучше предсказывался силой первоначальных доказательств, чем характеристиками команд оригинального или репликационного исследований.

Набор из 100 опубликованных экспериментальных и корреляционных исследований по психологии

Воспроизводимость заявленных эффектов, оцениваемая через размеры эффектов в репликациях, совпадение статистической значимости, соответствие 95% доверительных интервалов и субъективные оценки успешности репликации

Publication Details
Publication Date
2015-08-27
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Alexander A. Aarts
Open Science Collaboration
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%