去年我在一个信贷风控项目里接手了建模任务,样本量不大,特征却有一百多个。一开始我图省事,直接训练一棵决策树,结果训练集准确率轻松到95%,验证集只有71%。无论怎么限制深度、剪枝,单棵树的泛化能力就是上不去。团队里一个同事看我反复折腾,对我说了一句让我印象很深的话:“你让一个人反复判断一百次,不如让一百个人各判断一次然后投票。”他说的就是随机森林。机器学习里的随机森林算法,简单说就是让多棵决策树各自从不同的样本子集和特征子集中学习,再综合它们的结果做判断。这篇文章我不打算堆公式,就站在实际建模的角度,把随机森林的原理、调参、特征分析和适用边界讲透,希望给正在做机器学习的读者一些能直接上手的经验。
1. 为什么一棵决策树容易“学过头”:从单模型到集成学习的动机
1.1 单棵决策树的过拟合现场
随机森林不是凭空出现的,它的价值要从决策树的短板说起。决策树的本质是一连串 if-else 规则。它学得极其灵活,能够把训练样本的每一个角落都切得干干净净。正是这种灵活性给它埋了雷:只要树的深度足够,它可以把训练集里所有的噪声、异常点、偶然巧合都当作规律记下来。一旦遇到新数据,这种精确到个体的“规则”就完全失效了。
在机器学习里,这个现象叫过拟合(overfitting)。直观理解就是:你把一道题的参考答案背得一字不差,但题目稍微换个问法就答不上来。在实际项目中,单棵决策树发生过拟合几乎是必然的。降低过拟合的方式无非两条路:一是约束单棵树的复杂度,比如限制最大深度、限制叶子节点至少包含多少样本;二是换一种策略,不再依赖一棵树,而是让很多棵树一起决定。
我见过不少刚入门的朋友有个误区:觉得决策树不准,就调树本身的参数,调了半天效果还是不行。其实这种思路本身就有问题,单棵决策树的方差本来就很大,训练数据一有风吹草动,整棵树的结构都可能大变。你换了80%的训练数据,树的形状可能就完全不一样了。
1.2 方差与偏差:随机森林解决的是哪一端
这里有必要把偏差和方差这对概念讲清楚。机器学习模型的总误差可以拆成三部分:偏差(bias)、方差(variance)和不可约噪声。偏差是说模型的平均水平和真实值之间的差距,也就是模型“够不够准”;方差是说模型在不同训练集上的表现波动有多大,也就是模型“稳不稳定”。
决策树的突出特点是低偏差、高方差。它学得足够细,所以平均水平不差,但换个训练集结果就剧烈摇摆。随机森林的做法就是针对“高方差”下功夫:训练很多棵树,让它们尽可能“不一样”,最终综合结果,把波动的部分互相抵消。注意,随机森林并不能显著降低偏差,所以它不会比认真调参后的单棵强决策树准多少,它真正的价值在于用一组树的平均结果换取稳定性和泛化能力。
我经常跟别人打一个比方:一个人做判断题,可能因为状态不稳定偶尔全对、偶尔错一大片,但如果是一百个水平相当的人同时做,然后少数服从多数,最后犯错的概率就低很多。这里有个前提,就是这一百个人最好不是同一模子刻出来的,否则投票结果跟一个人没什么区别。随机森林的两个“随机”,本质就是为了制造这种差异。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 随机森林“随机”在哪里:Bagging与特征子集的组合逻辑
2.1 样本层面的Bootstrap抽样:让每棵树有“不同阅历”
随机森林的训练过程包含两个层面的随机性,第一个发生在样本层。
假设训练集一共有 N 条样本。训练第一棵树时,不是把全部 N 条都拿来,而是从中有放回地抽取 N 条,也就是说每抽一条之后把样本放回去,下一次照样可能抽到同一条。这种抽样方式叫 Bootstrap 自举抽样。按这样的方式抽一轮,你会发现有些样本重复出现了多次,有些样本从头到尾都没被抽中。计算一下,一条样本在 N 次抽取中一次都没被抽中的概率大约是 1/e,约等于 0.368。也就是说,大约 37% 的样本在当前这棵树的训练集里是缺席的。
这 37% 左右的“袋外样本”(Out-of-Bag,OOB)特别有用,后面讲模型验证时我会专门说。因为每一棵树都是在一份“变了样”的数据上训练的,所以每棵树见过的世界都有一点点不同,自然长出来的结构也就不一样。这就是“让每棵树有不同阅历”的含义。
2.2 特征层面的随机子空间:让每棵树只能看到部分“答案”
只是样本不同还不够。如果所有树都只在那几个特别强的特征上做分裂,那么最终树与树之间仍然会很相似,投票结果等于没有多样性。所以随机森林在第二个层面加了一重随机:每次节点分裂时,不是从全部 M 个特征里挑最优的分裂特征,而是先随机抽取 m 个特征作为候选,再从中选最优。这个 m 的典型取值是 sqrt(M)(用于分类)或 M/3(用于回归),实际使用中也会通过调参确定。
这个机制在文献里叫“随机子空间”(random subspace method)。它的意义在于:强特征不会被所有树同时霸占,弱特征在某些树里反而获得上场机会。于是树的形态差异被拉开了,整片森林覆盖的特征组合更丰富,它们彼此之间也更能形成互补。
2.3 多数投票与回归平均:森林如何做最终决策
训练完成之后,随机森林的预测方式很简单直接。分类任务取全部树预测结果的众数,也就是多数投票;回归任务取全部树预测结果的均值。这里没有复杂的权重学习过程,每棵树的权重都是1。
这个简单操作背后有数学支撑。只要树与树之间的相关性不是1,多棵树的平均结果在方差上一定小于单棵树。理论上,当树的数目足够多时,随机森林的泛化误差会收敛到一个上限附近,不会因为树的增加而恶化。这一点决定了随机森林天然对“多训练一些树”这件事非常宽容,工业实践中树的棵树设到几百甚至上千,效果都稳定。
3. 随机森林算法的完整技术拆解
我先把随机森林的核心机制系统化地梳理一遍。它本质上是两件事的组
