不是所有人都会告诉你,GBDT的每一棵树拟合的其实是上一轮预测的梯度方向,而不是什么玄乎的"残差"。我第一次看到"基于梯度的boosting方法推导"时,以为就是把梯度下降换了个名字。后来真去推了一遍,才发现它把"参数空间优化"搬到了"函数空间优化",这一步跨越直接决定了GBDT、XGBoost、LightGBM这一整条技术线的走向。这篇文章把我从零推导的过程完整写出来,包含手算数值算例、必要公式和实现代码,适合已经会用sklearn但还没啃过推导细节的读者,也适合准备面试时把"为什么GBDT要拟合负梯度"讲清楚的人。
1. 从"拟合残差"到"拟合梯度":大多数教程没讲透的那一步
1.1 "拟合残差"这句话的适用范围
初学者接触GBDT时,几乎都会看到一句话:每一轮新树拟合的是上一轮预测的残差。这句话在平方损失下完全正确,也特别好理解——上一轮预测高了,这轮就往低修;预测低了,就往高补。
但这句话藏着一个大坑:它把"残差"当成了Boosting的本质,把"平方损失"当成了默认损失。一旦你换一个损失函数,比如绝对损失、Huber损失、分位数损失,或者处理分类问题的对数损失,你继续用残差去拟合,模型性能就会出问题。
我最早踩过这个坑。当时想做一个分位数回归,于是直接把GBDT的平方损失换成了分位数损失,然后依然按照残差去拟合下一棵树。结果训练到一半损失根本不降。折腾了一晚上,最后回到原始论文看推导,才意识到问题出在哪:GBDT每一轮要拟合的目标不是残差,而是损失函数在当前位置的负梯度。残差只是当损失函数为平方损失时,负梯度的特殊形式。
1.2 当损失函数不再是平方损失
为了把这个问题看清楚,我们先写出加性模型的通用形式:
$$F_M(x) = \sum_{m=0}^{M} f_m(x)$$
其中 $F_M(x)$ 是最终模型,$f_0(x)$ 是初始常数模型,$f_m(x)$ 是第 $m$ 轮加入的基学习器。给定损失函数 $L(y, F(x))$,我们希望最小化:
$$\mathcal{L} = \sum_{i=1}^{N} L\left(y_i, F(x_i)\right)$$
这里 $F$ 是一个函数,不是一个向量参数。如果 $L$ 是平方损失 $\frac{1}{2}(y-F)^2$,对 $F$ 求导得到 $(F-y)$,负梯度正好是 $(y-F)$,也就是残差。
但如果 $L$ 是绝对损失 $|y-F|$,对 $F$ 求导(在 $F \neq y$ 处)得到 $-\text{sign}(y-F)$,负梯度是 $\text{sign}(y-F)$。这个结果和残差一点都不像。它只告诉模型:预测偏高就往下降,预测偏低就往上升,至于幅度多大,它不关心。这时候如果你还用残差去拟合,等于给模型传递了错误的监督信号,训练自然出问题。
1.3 负梯度作为通用伪残差
正确的做法是:每一轮计算每个样本在当前模型 $F_{m-1}(x_i)$ 处的负梯度:
$$\tilde{y}i = -\left. \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)} \right|(x_i)}$$
这个 $\tilde{y}_i$ 在GBDT的语境里叫"伪残差"(pseudo-residual)。然后让第 $m$ 轮的基学习器去拟合这批伪残差。为什么可以这样?因为负梯度是损失函数下降最快的方向,我们想通过增加一个基学习器来最小化损失,最好的方向就是沿着负梯度走。
从这一刻开始,Boosting从"一种针对残差的启发式方法"变成了"一种在函数空间做梯度下降的通用框架"。任何可导的损失函数都可以套进去,只是不同损失函数对应不同的伪残差而已。理解了这一点,后面的推导就顺了。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 函数空间里的最速下降:梯度提升为什么叫"梯度"提升
2.1 加性模型与函数空间优化
我们平时用的梯度下降,对象是一组参数 $\theta$,比如神经网络的权重。每次迭代更新的是参数向量:
$$\theta_{t+1} = \theta_t - \eta \nabla_\theta L(\theta_t)$$
GBDT做的事情在形式上完全一样,但对象换成了函数 $F$。我们不直接修改某个参数,而是往模型里"加一棵树"。这棵树可以看成是函数空间里的一个增量 $h_m(x)$:
$$F_m(x) = F_{m-1}(x) + \eta , h_m(x)$$
为什么可以这么做?因为损失函数是定义在样本点上的。对于 $N$ 个训练样本,我们可以把 $F(x_i)$ 看成 $N$ 个变量,那么损失函数 $\sum_i L(y_i, F(x_i))$ 对这些变量的梯度就是一个 $N$ 维向量:
$$g_i = \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)}$$
问题在于,我们不可能直接更新 $N$ 个"坐标值",因为测试时会遇到没见过的新样本。我们需要用一个可以从特征 $x$ 映射到梯度方向的函数 $h_m(x)$ 来近似这个 $N$ 维梯度向量。树模型就是干这个的。
2.2 一阶泰勒展开:为什么方向必须是负梯度
假设当前模型是 $F_{m-1}$,我们想找到一个增量 $h$,使得:
$$L(y, F_{m-1} + h) < L(y, F_{m-1})$$
对 $L$ 做一阶泰勒展开,在单个样本上近似为:
$$L(y, F_{m-1} + h) \approx L(y, F_{m-1}) + \left.\frac{\partial L}{\partial F}\right|{F{m-1}} \cdot h$$
对所有样本求和后,
