XGBoostмасштабируемое машинное обучениеалгоритм с учетом разреженностибустинг деревьеввзвешенный эскиз квантилей
Figures from the paper
Abstract (AI)
Бустинг на основе деревьев — высокоэффективный и широко используемый метод машинного обучения. В этой статье мы описываем масштабируемую сквозную систему бустинга на основе деревьев под названием XGBoost, которая широко используется специалистами по анализу данных для получения результатов мирового уровня во множестве задач машинного обучения. Мы предлагаем новый алгоритм, учитывающий разреженность данных, для работы с разреженными данными, а также взвешенное квантильное приближение для приближённого обучения деревьев. Что ещё важнее, мы описываем особенности шаблонов доступа к кэшу, сжатия данных и шардирования, необходимые для построения масштабируемой системы бустинга на основе деревьев. Объединение этих подходов позволяет XGBoost масштабироваться до обработки более миллиардов примеров, используя значительно меньше ресурсов, чем существующие системы.
Key Findings
1
Взвешенный эскиз квантилей обеспечивает приближённое обучение деревьев в рамках XGBoost.
2
Объединение алгоритмических и системных инноваций позволяет XGBoost масштабироваться до более чем миллиардов примеров, используя значительно меньше ресурсов, чем существующие системы.
3
Оптимизация шаблонов доступа к кэшу, сжатия данных и секционирования данных повышает масштабируемость и эффективность использования ресурсов.
4
Система вводит алгоритм, учитывающий разреженность данных и предназначенный для эффективной обработки разреженных данных.
5
XGBoost представлен как масштабируемая сквозная система бустинга деревьев, достигающая передовых результатов во многих задачах машинного обучения.
Research Object
Система XGBoost — масштабируемая сквозная система бустинга деревьев
Research Subject
масштабируемость и ресурсоэффективная производительность обучения на разреженных и массивных наборах данных
Publication Details
Publication Date
2016-08-08
Journal
Publisher
ISSN
Cited by
61163
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai3
Работы, цитирующие эту статью20
Преимущества коэффициента корреляции Мэттьюза (MCC) перед F1 и точностью при оценке бинарной классификации2020
SoilGrids250m: глобальная гридированная информация о почвах на основе машинного обучения2017
Обзор обучения с полуучителем2019
CatBoost для больших данных: междисциплинарный обзор2020
Расцвет глубокого обучения в разработке лекарственных средств2018
Автоматизированное машинное обучение2019
Идентификация мобильных генетических элементов с помощью geNomad2023
Обнаружение аномалий во временных рядах2022
Проектирование ориентированного на пользователя объяснимого ИИ, основанного на теории2019
Фреймворки и библиотеки машинного и глубокого обучения для интеллектуального анализа крупномасштабных данных: обзор2019
Финансовое мошенничество: обзор методов обнаружения аномалий и последних достижений2021
Применение искусственного интеллекта к медицинским изображениям: от машинного обучения до глубокого обучения2021
Эффективная система обнаружения вторжений с использованием XGBoost2018
Разработка вакцины против коронавируса COVID-19 с использованием обратной вакцинологии и машинного обучения2020
Картирование глобальной глубины до коренной породы для моделирования поверхности суши2016
Графовые нейронные сети для интеллектуальных транспортных систем: обзор2023
Машинное обучение и глубокое обучение в энергетических системах: обзор2022
Обзор методов объяснимого обнаружения аномалий2023
Разработка классификатора онлайн-языка ненависти для нескольких платформ социальных сетей2020
Комплексный обзор глубокого обучения для прогнозирования временных рядов: архитектурное разнообразие и нерешённые проблемы2025