XGBoost

XGBoost^[1] (eXtreme Gradient Boosting) — это библиотека с открытым исходным кодом, используемая в машинном обучении и предоставляющая функциональность для решения задач, связанных с регуляризацией градиентного бустинга. Библиотека поддерживается языками программирования C++, Java, Python^[2], R^[3], Julia^[4], Perl^[5] и Scala. Библиотека работает под ОС Linux, Windows^[6], и macOS^[7]. Она работает как на одной машине, так и на системах распределенной обработки Apache Hadoop, Apache Spark и Apache Flink.

XGBoost
Тип	Машинное обучение
Разработчик	The XGBoost Contributors
Написана на	C++
Операционные системы	Linux, macOS, Windows
Первый выпуск	27 марта 2014; 11 лет назад (2014-03-27)
Последняя версия	3.0.0 (15 марта 2025; 5 месяцев назад (2025-03-15))
Репозиторий	github.com/dmlc/xgboost
Лицензия	Apache License 2.0
Сайт	xgboost.ai

В последнее время эта библиотека приобрела большую популярность и привлекла внимание как выбор многих команд-победителей соревнований по машинному обучению^[8].

История

XGBoost изначально начинался как исследовательский проект Чэн Тяньци^[9] как часть группы Distributed (Deep) Machine Learning Community (DMLC). Изначально она начиналась как консольная программа, которую можно было настроить с помощью конфигурационного файла libsvm. XGBoost стал широко известен в кругах участников соревнований по машинному обучению после его использования в решении победителя конкурса Higgs Machine Learning Challenge. Вскоре после этого были созданы пакеты для Python и R, и теперь XGBoost имеет реализации пакетов для Java, Scala, Julia, Perl и других языков. Это позволило привлечь к библиотеке больше разработчиков и способствовало ее популярности среди сообщества Kaggle, где она использовалась для проведения большого количества соревнований^[8].

Вскоре XGBoost был интегрирован с рядом других пакетов, что упростило его использование в соответствующих сообществах. Сейчас он интегрирован в scikit-learn для пользователей Python и в пакет caret для пользователей R. Он также может быть интегрирован в такие фреймворки Data Flow, как Apache Spark, Apache Hadoop и Apache Flink с помощью абстрактного Rabit^[10] и XGBoost4J^[11]. XGBoost также доступен на OpenCL для ПЛИС^[12]. Эффективная, масштабируемая реализация XGBoost была опубликована Чэн Тяньци и Карлосом Густрином^[13].

Хотя модель XGBoost часто достигает более высокой точности, чем одно дерево решений, она жертвует присущей деревьям решений интерпретируемостью. Например, проследить путь, по которому дерево решений принимает решение, тривиально и самообъяснимо, но проследить пути сотен или тысяч деревьев гораздо сложнее. Для достижения производительности и интерпретируемости некоторые методы сжатия моделей позволяют преобразовать XGBoost в одно "перерожденное" дерево решений, которое аппроксимирует ту же функцию принятия решений^[14].

Функционал

Основные особенности XGBoost, отличающие его от других алгоритмов градиентного бустинга, включают:^[15][16][17].

• Умная штрафовка деревьев
• Пропорциональное уменьшение узлов листьев
• Метод Ньютона в оптимизации
• Дополнительный параметр рандомизации
• Реализация на одиночных, распределенных системах и out-of-core вычислениях
• Автоматический отбор признаков

Описание алгоритма

XGBoost использует Метод Ньютона-Рафсона в пространстве функций, в отличие от градиентного бустинга, который работает как градиентный спуск в пространстве функций, в функции потерь используется ряд Тейлора второго порядка для связи с методом Ньютона-Рафсона.

Общий вид нерегуляризованного алгоритма XGBoost:

Вход: обучающее множество ${\displaystyle \{(x_{i},y_{i})\}_{i=1}^{N}}$, дифференцируемая функция потерь ${\displaystyle L(y,F(x))}$, число слабых обучающихся ${\displaystyle M}$ и скорость обучения ${\displaystyle \alpha }$.

Алгоритм:

1. Инициализировать модель постоянным значением:

   ${\displaystyle {\hat {f}}_{(0)}(x)={\underset {\theta }{\arg \min }}\sum _{i=1}^{N}L(y_{i},\theta ).}$

2. Для m = от 1 до M:
   1. Вычислите "градиенты" и "гессианы":

      ${\displaystyle {\hat {g}}_{m}(x_{i})=\left[{\frac {\partial L(y_{i},f(x_{i}))}{\partial f(x_{i})}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.}$

      ${\displaystyle {\hat {h}}_{m}(x_{i})=\left[{\frac {\partial ^{2}L(y_{i},f(x_{i}))}{\partial f(x_{i})^{2}}}\right]_{f(x)={\hat {f}}_{(m-1)}(x)}.}$

   2. Подогнать базового/слабого обучающегося, используя обучающее множество ${\displaystyle \displaystyle \left\{x_{i},-{\frac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}\right\}_{i=1}^{N}}$, решив следующую оптимизационную задачу:

      ${\displaystyle {\hat {\phi }}_{m}={\underset {\phi \in \mathbf {\Phi } }{\arg \min }}\sum _{i=1}^{N}{\frac {1}{2}}{\hat {h}}_{m}(x_{i})\left[-{\frac {{\hat {g}}_{m}(x_{i})}{{\hat {h}}_{m}(x_{i})}}-\phi (x_{i})\right]^{2}.}$

      ${\displaystyle {\hat {f}}_{m}(x)=\alpha {\hat {\phi }}_{m}(x).}$

   3. Обновление модели:

      ${\displaystyle {\hat {f}}_{(m)}(x)={\hat {f}}_{(m-1)}(x)+{\hat {f}}_{m}(x).}$

3. Результат: ${\displaystyle {\hat {f}}(x)={\hat {f}}_{(M)}(x)=\sum _{m=0}^{M}{\hat {f}}_{m}(x).}$

Награды

• Премия John Chambers (2016)^[18]
• Премия High Energy Physics meets Machine Learning award (HEP meets ML) (2016)^[19]