Проблема «файлового ящика» и устойчивость к нулевым результатам

Для любой области исследований нельзя точно сказать, сколько исследований было проведено, но никогда не опубликовано. Крайняя точка зрения на «проблему файлового ящика» заключается в том, что журналы заполнены 5% исследований, показывающих ошибки первого рода, тогда как в ящиках с материалами лежат 95% исследований, демонстрирующих незначимые результаты. Приводятся и иллюстрируются количественные процедуры вычисления допустимого числа отложенных и будущих нулевых результатов, а также обсуждаются их последствия. Как поведенческие исследователи, так и статистики давно подозревали, что опубликованные в поведенческих науках исследования представляют собой смещенную выборку от числа фактически проведенных исследований (Bakan, 1967; McNemar, 1960; Smart, 1964; Sterling, 1959). Крайняя точка зрения на эту проблему — «проблема файлового ящика» — состоит в том, что журналы заполнены теми 5% исследований, которые демонстрируют ошибки первого рода, тогда как в лабораторных ящиках находятся 95% исследований с незначимыми (например, p > .05) результатами. Ранее практически ничего нельзя было сделать для оценки суммарного эффекта исследований, отложенных в файловых ящиках, которые не достигли порога .05 (Rosenthal & Gaito, 1963, 1964). Однако теперь, хотя окончательного решения проблемы нет, можно установить разумные границы проблемы и оценить степень ущерба для любого исследовательского вывода, который может быть вызван проблемой файлового ящика. Этот прогресс в нашей способности противостоять проблеме файлового ящика является результатом растущего интереса поведенческих ученых к обобщению массивов научной литературы. Подготовка этой статьи была частично поддержана Национальным научным фондом. Автор благодарит Джудит А. Холл и Дональда Б. Рубина за ценные улучшения ранней версии статьи.