Аддитивная логистическая регрессия: статистический взгляд на бустинг (с обсуждением и ответом авторов)

Бустинг является одним из важнейших недавних достижений в методах классификации. Бустинг работает путем последовательного применения алгоритма классификации к заново взвешенным версиям обучающих данных с последующим формированием взвешенного большинства голосов из последовательности полученных классификаторов. Для многих алгоритмов классификации эта простая стратегия приводит к резкому улучшению качества. Мы показываем, что это, казалось бы, загадочное явление может быть объяснено с точки зрения общеизвестных статистических принципов, а именно аддитивного моделирования и метода максимального правдоподобия. Для задачи с двумя классами бустинг можно рассматривать как приближение аддитивного моделирования на логистической шкале с использованием максимума бернуллиевского правдоподобия в качестве критерия. Мы разрабатываем более прямые приближения и показываем, что они дают результаты, практически идентичные бустингу. Выведены прямые многоклассовые обобщения на основе мультино-мального правдоподобия, которые в большинстве случаев демонстрируют сопоставимую с недавно предложенными многоклассовыми обобщениями бустинга производительность, а в некоторых — значительно превосходят их. Мы предлагаем небольшое изменение в бустинге, которое может сократить вычисления, часто в 10–50 раз. Наконец, мы применяем эти идеи для получения альтернативной формулировки бустинга для деревьев решений. Этот подход, основанный на индукции усеченных деревьев с поиском лучшего узла в первую очередь (best-first truncated tree induction), часто приводит к лучшей производительности и может обеспечить интерпретируемые описания агрегированного правила принятия решений. Он также значительно быстрее вычислительно, что делает его более пригодным для масштабных задач data mining.