为什么xgboost要用泰勒展开，优势在哪里？
发布时间:2022-09-21 14:59:55
发布人:wjy
xgboost使用了一阶和二阶偏导，二阶导数有利于梯度下降的更快更准。
使用泰勒展开取得函数做自变量的二阶导数形式，可以在不选定损失函数具体形式的情况下，仅仅依靠输入数据的值就可以进行叶子分裂优化计算，本质上也就把损失函数的选取和模型算法优化/参数选择分开了。
这种去耦合增加了xgboost的适用性，使得它按需选取损失函数，可以用于分类，也可以用于回归。
