Множественная проверка гипотез и гендерные различия в эффектах раннего вмешательства: повторная оценка проектов Abecedarian, Perry Preschool и Early Training

Точка зрения о том, что отдача от инвестиций в образование наибольшая при вмешательствах в раннем детстве, широко распространена и в основном основывается на ряде влиятельных рандомизированных испытаний — Abecedarian, Perry и Early Training Project — которые указывают на сверхнормальную отдачу от ранних вмешательств. В этой статье представлен de novo анализ этих экспериментов, сосредоточенный на двух ключевых вопросах, которым в предыдущих анализах уделялось ограниченное внимание: гетерогенности эффектов лечения по признаку пола и чрезмерном отклонении нулевой гипотезы в результате множественной проверки гипотез. Для устранения последней проблемы реализована статистическая схема, которая сочетает тесты сводного индекса с поправками на семейную ошибку (familywise error rate) и на скорость ложных открытий (false discovery rate). Первый приём уменьшает число проводимых тестов; два последних приёма корректируют p-значения для множественной проверки. Основной вывод повторного анализа заключается в том, что девочки получили значительные кратко- и долгосрочные выгоды от вмешательств, в то время как для мальчиков не было выявлено значимых долгосрочных эффектов. Эти выводы, которые казались неоднозначными при использовании «наивных» оценок, не учитывающих множественное тестирование, вносят вклад в растущую литературу об возникающем гендерном разрыве в академической успеваемости между женщинами и мужчинами. Они также демонстрируют, что в сложных исследованиях, где к одному набору данных предъявляется множество вопросов, важно определить семейство рассматриваемых тестов и либо консолидировать показатели, либо сообщать скорректированные и нескорректированные p-значения.