XGBoost背后的数学原理是什么？

如上所述，李磊和韩梅梅在点a，目标苹果树在点g。
山区环境复杂，如何确定自己在山谷的尽头？
他们有两种方法
1）
韩美美计算点A的斜率。如果斜率为正，则继续沿该方向移动。如果为负，则朝相反方向前进。
坡度显示的是行进方向，但不显示在该方向上需要移动多少。
为此，韩梅梅决定采取一些步骤来计算梯度，避免到达错误的位置，最后消除大苹果树。
但是，这种方法很危险。控制水平是学习率。这是必须手动控制的值。如果学习率太高，李磊和韩美梅可能会在g点的两侧来回移动。如果学习率太小，那么天黑时他们可能不会得到苹果。
观众可能走错了路，李乐不开心，不想走马路，也不会浪费时间回家吃饭。
韩美媚建议第二种方法，因为看到他的朋友感到羞耻。
2）
基于第一种方法，韩美美每经过一定数量的步骤，就会为每个步骤计算损失函数的值，并找到局部最小值以避免全局最小值的损失。
每当Hanmeimei找到一个局部最小值时，他都会发出信号，因此Lee Ray不会走错方向。
但是，这种方法对女孩不公平，可怜的韩美媚需要探索她周围的所有点，并计算所有这些点的功能值。
XGBoost的优点是它可以同时解决前两个解决方案的缺陷。
坡度增加
许多梯度增强实现使用方法1来计算目标函数的最小值。
在每次迭代中，使用损失函数的斜率训练基础学生，将预测结果乘以一个常数，然后将其乘以上一次迭代的值以更新模型。