Утечка данных и кризис воспроизводимости в науке, основанной на машинном обучении

Методы машинного обучения (МО) приобрели большое значение в количественных науках. Однако в науке, основанной на машинном обучении, существует множество известных методологических проблем, включая утечку данных. Мы систематически исследуем проблемы воспроизводимости в науке, основанной на машинном обучении. В ходе обзора литературы по областям, применяющим методы МО, мы выявили 17 областей, в которых обнаружена утечка данных; в совокупности она затрагивает 294 статьи и в некоторых случаях приводит к чрезмерно оптимистичным выводам. На основе проведённого обзора мы предлагаем подробную таксономию восьми типов утечки данных — от ошибок, описываемых в учебниках, до нерешённых исследовательских проблем. Мы предлагаем исследователям проверять наличие каждого типа утечки данных, заполняя информационные листы моделей, которые мы вводим в данной работе. Наконец, мы проводим исследование воспроизводимости прогнозирования гражданских войн, в котором считается, что сложные модели машинного обучения значительно превосходят традиционные статистические модели, такие как логистическая регрессия (LR). После исправления ошибок сложные модели машинного обучения не демонстрируют существенно лучших результатов по сравнению с моделями логистической регрессии, разработанными несколько десятилетий назад.