Оценка воспроизводимости психологической науки

Estimating the reproducibility of psychological science
Alexander A. Aarts, Open Science Collaboration
2015-08-27

психологическая наукарепликационные эффектырепликационные исследованиявоспроизводимостьстатистическая значимость
Воспроизводимость является определяющей характеристикой науки, однако степень, в которой она присуща современным исследованиям, неизвестна. Мы провели репликации 100 экспериментальных и корреляционных исследований, опубликованных в трех психологических журналах, используя высокостатистически мощные дизайны и оригинальные материалы, когда они были доступны. Эффекты в репликациях имели вдвое меньшую величину, чем исходные эффекты, что свидетельствует о существенном снижении. В 97% исходных исследований были получены статистически значимые результаты. В 36% репликаций были получены статистически значимые результаты; 47% исходных размеров эффекта находились в пределах 95%-ного доверительного интервала размера эффекта в репликации; по субъективной оценке, в 39% случаев эффект воспроизводил исходный результат; а если предположить отсутствие систематического смещения в исходных результатах, то при объединении исходных результатов и результатов репликаций статистически значимые эффекты сохранялись в 68% случаев. Корреляционный анализ показал, что успех репликации лучше предсказывался силой исходных доказательств, чем характеристиками исходной команды и команды, проводившей репликацию.
1
Хотя 97% исходных исследований сообщали статистически значимые результаты, статистически значимыми оказались лишь 36% репликаций.
2
При объединении исходных и репликационных результатов статистически значимые эффекты сохранялись в 68% исследований при предположении отсутствия смещения исходных результатов.
3
Только 47% исходных размеров эффекта попали в 95%-ные доверительные интервалы репликационных оценок, а 39% эффектов были субъективно признаны воспроизведёнными.
4
Успешность репликации сильнее предсказывалась убедительностью исходных доказательств, чем характеристиками исходных или репликационных исследовательских групп.
5
Репликации 100 психологических исследований показали, что эффекты в среднем были вдвое меньше исходных, что указывает на существенное снижение.

Набор из 100 опубликованных экспериментальных и корреляционных исследований по психологии

Воспроизводимость психологических исследований, включая размеры эффектов при репликации, статистическую значимость, успешность репликации и её предикторы

Publication Details
Publication Date
2015-08-27
Journal
Publisher
ISSN
Cited by
8484
Access Type
Author Information
Authors
Alexander A. Aarts
Open Science Collaboration
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%