XGBoost

Бустинг на основе деревьев — высокоэффективный и широко используемый метод машинного обучения. В этой статье мы описываем масштабируемую сквозную систему бустинга на основе деревьев под названием XGBoost, которая широко используется специалистами по анализу данных для получения результатов мирового уровня во множестве задач машинного обучения. Мы предлагаем новый алгоритм, учитывающий разреженность данных, для работы с разреженными данными, а также взвешенное квантильное приближение для приближённого обучения деревьев. Что ещё важнее, мы описываем особенности шаблонов доступа к кэшу, сжатия данных и шардирования, необходимые для построения масштабируемой системы бустинга на основе деревьев. Объединение этих подходов позволяет XGBoost масштабироваться до обработки более миллиардов примеров, используя значительно меньше ресурсов, чем существующие системы.