请问（决策树、Random Forest、Boosting、Adaboot）GBDT和XGBoost的区别是什么？
发布时间:2022-09-21 14:58:42
发布人:wjy
集成学习的集成对象是学习器。
Bagging和Boosting属于集成学习的两类方法。
Bagging方法有放回地采样同数量样本训练每个学习器，然后再一起集成(简单投票);
Boosting方法使用全部样本(可调权重)依次训练每个学习器, 迭代集成(平滑加权)。
决策树属于最常用的学习器，其学习过程是从根建立树, 也就是如何决策叶子节点分裂。
ID3/C4.5决策树用信息熵计算最优分裂，CART决策树用基尼指数计算最优分裂，xgboost决策树使用二阶泰勒展开系数计算最优分裂。
