Случайные леса решений

Деревья решений привлекательны как классификаторы благодаря высокой скорости выполнения. Однако деревья, получаемые традиционными методами, зачастую не могут быть увеличены до произвольной сложности из‑за возможного снижения обобщающей точности на невидимых данных. Ограничение сложности обычно означает неоптимальную точность на обучающей выборке. Следуя принципам стохастического моделирования, мы предлагаем метод построения классификаторов на основе деревьев, емкость которых может быть произвольно увеличена для повышения точности как на обучающих, так и на невидимых данных. Суть метода заключается в построении множества деревьев в случайно выбранных подпространствах признакового пространства. Деревья в различных подпространствах по‑разному обобщают классификацию, и их комбинированная классификация может улучшаться монотонно. Достоверность метода показана в экспериментах по распознаванию рукописных цифр.