О переобучении при выборе модели и последующей смещённости выбора в оценке качества

Стратегии выбора модели для алгоритмов машинного обучения, как правило, включают численную оптимизацию соответствующего критерия выбора модели, часто основанного на оценивателе обобщающей способности, таком как k-кратная перекрёстная проверка. Ошибка такого оценивателя может быть разложена на компоненты смещения и дисперсии. Хотя отсутствие смещения часто называют желательным свойством критерия выбора модели, мы показываем, что низкая дисперсия не менее важна, поскольку ненулeвая дисперсия создаёт риск переобучения при выборе модели, а также при обучении самой модели. Хотя это наблюдение, возможно, очевидно задним числом, ухудшение качества из-за переобучения критерия выбора модели может быть удивительно большим — эффект, которому до настоящего времени уделялось мало внимания в литературе по машинному обучению. В этой работе мы показываем, что последствия этого вида переобучения часто сопоставимы по величине с разницей в качествах между алгоритмами обучения и поэтому не могут быть проигнорированы при эмпирической оценке. Кроме того, мы демонстрируем, что некоторые распространённые практики оценки качества подвержены форме смещённости выбора в результате такого переобучения и потому ненадёжны. Мы обсуждаем методы предотвращения переобучения при выборе модели и последующей смещённости выбора в оценке качества, которые, как мы надеемся, будут включены в лучшие практики. Хотя исследование сосредоточено на выборе модели на основе перекрёстной проверки, выводы являются общими и применимы к любой практике выбора модели, включающей оптимизацию критерия выбора модели, оцененного на конечной выборке данных, включая максимизацию байесовского доказательства и оптимизацию границ производительности.