决策树算法详解：从信息熵、基尼指数到剪枝与工程实践

1. 为什么决策树值得单独开一篇：从"可解释"说起

先抛一个观点：如果你是做业务的，或者未来要和业务方打交道，决策树很可能是你机器学习生涯里第一个能真正"讲得出口"的模型。神经网络再强，你跟运营说"这是个带注意力机制的多层感知机"，对方大概只会礼貌地点点头，然后继续问你"那你说说它为什么判定这个用户会流失"。这时候决策树的价值就出来了——它能把判断逻辑变成一串"如果...那么..."的规则，每一层分裂都对应一个看得懂的条件，任何一个没有算法基础的人都能顺着树走一遍，走到哪个叶子就得到哪个结论。这种可解释性，在风控、医疗、信贷、故障诊断这些需要给结论背书的场景里，是硬需求。

作为机器学习系列教程的第五篇，这篇不再讲线性模型的那套梯度下降和损失函数了。决策树走的完全不是同一个路子，它的核心是"组织结构"而不是"数学拟合"。说得更直白一点：线性回归和逻辑回归在干的事，是找一条线或者一个面把数据分开；而决策树干的事，是把数据一层一层地切格子，切到最后每个格子里尽量只住着一类样本。它从头到尾没有"权重"这个概念，也没有梯度，用的是另一套数学工具——信息论里的熵、增益、基尼系数。这套工具不复杂，但很多人学完只会调sklearn的参，不知道树是怎么长出来的，也不知道为什么要剪枝，更不知道面对连续特征和缺失值时算法背后发生了什么。

这篇文章的目标读者，是已经看完本系列前面几篇、有Python基础、但还没系统学过树模型的同学。我会从"树是怎么长出来的"这个最底层的问题开始，把特征选择、三种主流算法、训练与预测的完整流程、剪枝的必要性，以及连续值和缺失值这些实际落地时才躲不开的问题，全部串起来讲一遍。每个环节不光讲"是什么"，还会解释"为什么这么设计"和"实际用的时候要注意什么"。建议你打开一个Jupyter Notebook跟着后面那段代码跑一遍，跑了之后很多模糊的地方会自动变得清晰。

2. 特征选择的内功心法：信息熵、信息增益与基尼指数

2.1 信息熵：度量"一团乱麻"到底有多乱

决策树在每一个节点上都要回答一个问题：我应该用哪个特征来切分当前这批数据？这个选择不是拍脑袋定的，得有一个量化的标准，让它能看出"切完之后比切之前更纯了"还是"更乱了"。这个标准的基础就是信息熵。

信息熵这个概念，可以用一个猜球的游戏来理解。假设有一个箱子，里面有10个球，只有红球这一种颜色。你随手摸出一个球，不用猜就知道是红的，因为根本没有任何不确定性，这时的熵最低，等于0。再换一个箱子，5个红球5个蓝球，你摸之前要猜一下颜色，不确定程度就上来了，熵变大。如果箱子变成10种颜色各1个球，那猜中的难度直线上升，熵也更大。

信息熵的数学定义是：

[ H = -\sum_{i=1}^{n} p_i \log_2 p_i ]

其中 ( p_i ) 是第 ( i ) 类样本在数据集里的比例。这个式子不要被符号吓住，你只要抓住一个感觉：取值越多样、各类比例越接近，熵越大；样本越清一色，熵越小。比如一个二分类数据集，如果正负样本各占一半，那么 ( H = -0.5\log_2 0.5 - 0.5\log_2 0.5 = 1 )，这是二分类问题熵的上限。如果正样本占到90%，负样本只占10%，那么 ( H = -0.9\log_2 0.9 - 0.1\log_2 0.1 \approx 0.469 )，明显变小了。

提示：有些资料会把 ( \log_2 ) 换成自然对数 ( \ln )，这只是度量尺度不同，不影响特征选择时的相对比较。实际操作中我们关心的不是熵的绝对值，而是"分裂前和分裂后熵差了多少"。

我在带新人做项目时，发现很多人在这一步就卡住了，总觉得要"理解"熵的哲学含义才能继续往下学。其实不必，你就把它当成一把尺子，尺子上的读数代表"混乱程度"，接下来要做的所有事情都是围绕"哪个特征能让混乱程度降得最快"展开的。

2.2 信息增益：选特征就像玩"排除法"猜人

有了熵这把尺子，现在可以来选特征了。决策树的核心逻辑是：选择一个特征，把当前数据集按这个特征的取值分成几份，然后分别计算每个子集的熵，再按样本量加权平均，得到"分裂后的总熵"。用分裂前的熵减去分裂后的熵，得到的就是这个特征带来的"信息增益"。增益越大，说明这个特征切完之后数据变纯的程度越高，它就应该被优先选为分裂特征。

用一个经典的"今天要不要出门打球"数据集来走一遍计算，数据长这样：

一共14条样本，打球的有9个，不打球的有5个，根节点的熵是：

[ H(\text{根}) = -\frac{9}{14}\log_2\frac{9}{14} - \frac{5}{14}\log_2\frac{5}{14} \approx 0.940 ]

现在看"天气"特征的划分。天气取"晴"时有5条样本，其中2个打球3个不打球，子集熵 ( H(\text{晴}) \approx 0.971 )；取"多云"时有4条，全打球，子集熵 ( H(\text{多云}) = 0 )；取"雨"时有5条，3个打球2个不打球，子集熵 ( H(\text{雨}) \approx 0.971 )。按样本量加权之后，天气特征分裂后的总熵是：

[ \frac{5}{14} \times 0.971 + \frac{4}{14} \times 0 + \frac{5}{14} \times 0.971 \approx 0.694 ]

信息增益：

[ \text{Gain}(\text{天气}) = 0.940 - 0.694 = 0.246 ]

用同样的方法算其他特征，会发现"天气"的增益最大，于是根节点先用天气来分裂。接下来对每个分支递归重复这个过程，选出新的最优特征，直到数据被分到一个"叶子"为止。这个过程很像玩"排除法猜人"的游戏：先问一个能把候选范围缩到最小的特征（比如"是不是戴眼镜"），再根据回答继续缩小范围，直到锁定目标。每一层都在用信息增益寻找"哪一刀切下去，人群分得最开"。

2.3 从ID3到C4.5再到CART：为什么后来不用信息增益了

把信息增益当作标准来建树的经典算法是ID3，由Quinlan在1986年提出。ID3简洁直观，但它有一个非常明显的毛病：它偏爱取值特别多的特征。举个极端例子，如果数据集里每条样本都有一个唯一ID编号，按"ID编号"这个特征来分裂，每个子集只有一条样本，分裂后总熵是0，信息增益直接封顶。但这样的分裂没有任何泛化能力——每个叶子只记住一条训练数据，新样本一来就抓瞎。

为了解决这个问题，C4.5算法改用了"增益率"（Gain Ratio）。增益率的思路是在信息增益的基础上除以一个"固有值"，这个固有值衡量的是特征本身取值的分散程度。取值越多的特征，固有值越大，增益率就被压得越低。这样就把"伪强特征"的势头压住了。

另一种路线是CART算法，它换了一套度量标准，不再用信息熵，而是用基尼指数（Gini Index）。基尼指数衡量的是"从数据集里随机抽两个样本，它们的类别不一致的概率"：

[ \text{Gini}(D) = 1 - \sum_{i=1}^{n} p_i^2 ]

还是用14条打球样本看根节点的基尼指数：

[ \text{Gini}(\text{根}) = 1 - \left(\frac{9}{14}\right)^2 - \left(\frac{5}{14}\right)^2 \approx 0.459 ]

分裂时选择让"加权平均基尼指数下降最多"的特征。基尼指数不需要算对数，计算速度比信息熵快了不少。CART还有一个重要区别：它强制要求每个节点只做二分叉。如果特征有多个取值，CART会找到最优的取值组合把特征空间一分为二，而不是像ID3那样一叉到底。

注意：C4.5和CART虽然都是为了修ID3的毛病，但CART的"二分叉"设计让它天然适合后面接梯度提升树（GBDT）、随机森林这些需要大量基学习器的算法。这也是为什么现在工业界和scikit-learn里的默认决策树实现，基本都以CART为蓝本。

3. ID3、C4.5、CART三兄弟：选哪个更靠谱

3.1 三种算法的核心差异速查

很多人在学决策树的时候，被ID3、C4.5、CART这几个名字绕晕了。这里用一张表把它们最关键的区别放一起对比：

从表中可以清楚地看到，CART并不是ID3和C4.5的简单替代品，两者在"分支方式"上有本质差异。ID3和C4.5是"有多少取值就分多少个叉"，而CART是"怎么切能把数据分得最匀"——当特征是连续值时，CART会尝试每一个可能的切分阈值，挑基尼增益最大的那个点。这种机制让CART既能很好地处理连续特征，又能非常自然地延伸到回归问题（回归树的切分标准变成最小化均方误差）。

3.2 为什么scikit-learn和工业界最终选择了CART

如果你翻过scikit-learn的文档，会发现 DecisionTreeClassifier 这个类里根本没有"ID3"或"C4.5"这个选项。原因不复杂。

第一是计算效率。ID3的多叉分裂在面对高基数类别特征时，会迅速把数据切得分崩离析，树变得又宽又浅，而宽度过大带来的问题就是每个子节点样本量太小，统计意义严重不足。而CART的二分叉机制永远只在"切A和切B"之间做选择，任何时候都只在做一次二元决策，这让树的深度可以更深，但每一层的决策逻辑都非常稳定。

第二是工程上的一致性。CART从设计上就支持分类和回归两个场景，同一套树的生长逻辑可以复用到回归树上，而回归树是GBDT、XGBoost、LightGBM这些集成算法的基石。团队里如果统一用CART作为基学习器，对工具链的维护、调参经验的可迁移都有好处。你想想看，如果某一个梯度提升框架用的是C4.5风格的树，另一个用的是CART风格的树，调参的心得就完全无法复用了，这会非常痛苦。

第三是CART在节点分裂中天然考虑了"是否值得切一刀"。当基尼增益低于某个阈值时，CART不会强行分裂，这会生成结构更紧凑的树，也为后剪枝提供了更干净的起点。这一点在后面讲剪枝的时候会更明显。

3.3 三棵树之外：决策树并不孤单

决策树很少单打独斗。实际项目里你看到的"随机森林""XGBoost""LightGBM"，说白了都是"大量决策树的组合体"，只是组合的方式不同。随机森林用"对样本和特征同时做随机采样，训练多棵树再投票"的方式降低方差，梯度提升树用"每棵树拟合前面所有树的残差"的方式降低偏差。这些集成算法威力远超单棵决策树，但如果你连单棵树的生长逻辑都没吃透，遇到集成算法的超参数调整就会一头雾水——因为那些超参数（比如 max_depth、min_samples_split、ccp_alpha）本质上都是在控制单棵树的行为。

我见过不少同学直接上手XGBoost调参，调了一个星期也没搞清楚为什么 max_depth 从3加到5效果反而变差。其实这个问题的根基就在单棵决策树：树的容量大了，拟合能力更强了，但如果在训练集上把每个叶子都切得很纯，测试集上一来新数据就完全没见过这种情况，直接崩掉。所以本篇文章把单棵树讲透，后面要写随机森林和梯度提升树的专题时，就只用讲"组合策略"那些新东西，不用回头补基础。

4. 手写一棵树：从数据集到预测的全流程

4.1 先搭一个能跑的最小环境

理论讲得再多，不如跑通一段代码。这里我假设你已经装好了Python 3.8以上的环境，并且能 import pandas 和 sklearn。如果你的环境还是干干净净的，打开终端执行：

bash复制pip install numpy pandas scikit-learn matplotlib

提示：如果你用的是Anaconda，这些核心库大概率已经装好了，直接跳过这步。遇到版本冲突时，建议优先确保 scikit-learn 的版本不低于1.0，因为1.0以后 plot_tree 这个可视化工具变得非常好用。

为了不引入额外的下载成本，我直接用scikit-learn自带的鸢尾花数据集。这个数据集有150条样本、4个特征、3个类别，是树模型入门最合适的数据之一，因为在给定特征下分类边界非常清晰，树可以长得很规整。

4.2 训练一棵决策树并预测

下面是完整训练代码，建议逐行跑：

python复制import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score, classification_report

# 加载数据
data = load_iris()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = pd.Series(data.target)

# 切分训练集和测试集，固定随机种子保证可复现
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y
)

# 初始化决策树分类器
clf = DecisionTreeClassifier(
    criterion='gini',    # 基尼指数；可换成'entropy'试试信息增益
    max_depth=3,         # 先限制树的深度，好观察结构
    random_state=42
)

# 训练
clf.fit(X_train, y_train)

# 预测
y_pred = clf.predict(X_test)
print("测试集准确率：", accuracy_score(y_test, y_pred))
print("\n分类报告：\n", classification_report(y_test, y_pred))

跑完你会看到准确率大概在0.9左右，对于深度限制在3的树来说已经不错了。重点不是这个数字，而是 max_depth=3 让这棵树"大概长什么样"可以被完整地画出来。

4.3 把树画出来，亲眼看看它学到了什么

sklearn 1.0版本以后，官方提供了 plot_tree 函数，画树不再依赖graphviz，安装配置的坑少了很多。

python复制import matplotlib.pyplot as plt
from sklearn.tree import plot_tree

plt.figure(figsize=(16, 8))
plot_tree(
    clf,
    feature_names=data.feature_names,
    class_names=data.target_names,
    filled=True,
    rounded=True,
    fontsize=10
)
plt.savefig('decision_tree_iris.png', dpi=150, bbox_inches='tight')
plt.show()

画出来的树会展示每个节点的分裂特征、阈值、样本数量、类别分布和基尼指数。你会发现根节点选择了"花瓣长度"这个特征，阈值为2.45cm，左边一分支直接就是山鸢尾这一类别，右边则继续用花瓣宽度来细分。这种"一开头就用一个非常清晰的判断把一类样本剥离开"的行为，正是决策树在低维特征空间里表现优秀的原因。

看树的时候，建议你自己问三个问题：这个特征阈值是怎么定的？为什么是2.45而不是2.4？如果换成 criterion='entropy'，树的形状会不会变？第三个问题可以直接实验，你会发现在这个数据集上，两个标准的树结构几乎一样。这不是巧合，而是说明多个特征之间的区分度足够高，无论用哪把尺子量，最粗的那一刀都切在同一个位置。

4.4 不调包手写一个决策树分裂逻辑

为了让你对"树是怎么生长"的体会更深，我建议在练手时写一个极简版本的分裂函数。思路是：给定一组数据和所有候选特征，遍历每个特征、每个可能的切分点，计算分裂后的加权基尼指数，选择基尼下降最多的特征和阈值。

python复制def gini(labels):
    _, counts = np.unique(labels, return_counts=True)
    probs = counts / counts.sum()
    return 1 - (probs ** 2).sum()

def best_split(X, y):
    best_gain = -1
    best_feat, best_thr = None, None
    parent_gini = gini(y)
    for feat in range(X.shape[1]):
        values = np.unique(X[:, feat])
        for i in range(len(values) - 1):
            thr = (values[i] + values[i + 1]) / 2
            left_mask = X[:, feat] <= thr
            right_mask = ~left_mask
            if left_mask.sum() == 0 or right_mask.sum() == 0:
                continue
            weighted_gini = (left_mask.sum() * gini(y[left_mask]) +
                             right_mask.sum() * gini(y[right_mask])) / len(y)
            gain = parent_gini - weighted_gini
            if gain > best_gain:
                best_gain = gain
                best_feat, best_thr = feat, thr
    return best_feat, best_thr, best_gain

这个函数实现了CART风格的最优二分查找：它会把特征取值排序后，在每两个相邻取值的中点作为候选阈值，然后比较每个候选点的基尼增益。这看起来很暴力——如果特征的取值很多，计算量会比较大——但决策树的训练就是这样"枚举所有可能的关键切分点，选最优"。你上手写一次之后就会明白，决策树的训练过程本质上是在做一个贪婪搜索，而不是在求解一个全局优化问题。

5. 剪枝这个必修课：预剪枝与后剪枝的实战选择

5.1 剪枝到底在解决什么问题

如果不做任何限制地让一棵树自由生长，它能长到每个叶子都只含同一类样本，训练集上准确率甚至能到100%。但这样的树几乎一定是过拟合的——它把训练数据里的噪声也当成了规律记了下来，换个数据集表现立刻跌破预期。这就是决策树最典型的"高方差"问题。

剪枝的核心思路，就是在"拟合训练数据"和"保持泛化能力"之间找一个平衡点。它和你在集成模型里控制基学习器复杂度的道理是一样的。拿生活来打个比方：你背书时如果连标点符号都背下来，考试时只要题目的问法略有变化就答不上来；如果只背主干逻辑和大方向，反而更能应对各种变体。剪枝就是强迫树"只背主干逻辑"。

5.2 预剪枝：在树生长时踩刹车

预剪枝是在树生长过程中，还没到叶子就提前判断"这一步到底要不要继续分裂"。如果分裂带来的增益不够大，或者分裂后子节点的样本量太少，就不允许继续切，直接把这个节点当作叶子。scikit-learn里控制预剪枝的核心参数有这么几个：

我在实际项目里通常是这样调参的：先固定 max_depth=3 跑一版，看训练集和测试集的准确率差距；然后一步步增大 max_depth，同时观察"测试集准确率从哪个深度开始不再上升甚至下降"，那个拐点附近往往就是比较合适的深度。还有一种更省事的办法，直接用 GridSearchCV 在这几个参数上做交叉验证，把候选参数范围设成上面那张表的附近，让机器帮你找最优组合。

预剪枝的优点是简单、训练快，训练时就直接生成一棵"小树"；缺点是它比较短视——当前这一步看起来增益不大，但下一步如果继续分裂，很可能就能把数据分得很干净。也就是说，预剪枝可能错过"先蹲下再跳高"的机会。

5.3 后剪枝：让树先长满，再动手"打薄"

后剪枝的思路正好相反：先把树长到足够大，再用某种规则从下往上把一些不重要的子树砍掉，替换成叶子节点。CART算法官方推荐的是"成本复杂度剪枝"（Cost-Complexity Pruning）。这个方法的直观理解是把"树的复杂度"和"拟合误差"放到一个目标函数里：

[ \text{目标} = \text{训练误差} + \alpha \times \text{叶子节点数} ]

当 ( \alpha ) 比较小时，树倾向于长得更复杂；当 ( \alpha ) 增大，叶子多的树会被惩罚，算法会倾向于合并叶子、减少节点。scikit-learn从0.22版本开始提供了 ccp_alpha 参数，我们可以用它来做后剪枝。

实操时先用 cost_complexity_pruning_path 看剪枝路径，再选一个合适的 ccp_alpha：

python复制from sklearn.tree import DecisionTreeClassifier

clf_full = DecisionTreeClassifier(random_state=42)
clf_full.fit(X_train, y_train)

# 获取成本复杂度剪枝路径
path = clf_full.cost_complexity_pruning_path(X_train, y_train)
ccp_alphas = path.ccp_alphas

# 对每个alpha训练一棵树，看测试集表现
test_scores = []
for alpha in ccp_alphas:
    clf = DecisionTreeClassifier(random_state=42, ccp_alpha=alpha)
    clf.fit(X_train, y_train)
    test_scores.append(clf.score(X_test, y_test))

best_alpha = ccp_alphas[test_scores.index(max(test_scores))]
print("最优 ccp_alpha：", best_alpha)
print("对应测试集准确率：", max(test_scores))

这段代码会把 ccp_alpha 从小到大的候选值都跑一遍，然后挑测试集准确率最高的那个 alpha。它要比手动去调 max_depth 更精细，因为剪枝路径是跟着树结构一步步走出来的，不是人为拍脑袋定的深度。不过要注意，ccp_alpha 的候选值跟数据量密切相关，换数据集后不能直接拿上一次的值来用，一定要重新跑路径。

5.4 预剪枝还是后剪枝：我的选择习惯

如果你的数据量不大，比如只有几千条样本，我倾向于直接上后剪枝，因为数据量小的时候预剪枝的"短视"问题会被放大——你很可能因为某个节点的增益还不够大就停下来了，而那一步之后本来是可以挖出重要规律的。但如果数据量达到几十万甚至上百万，预剪枝的计算优势就很明显了，训练一棵大树再做后剪枝的成本反而让团队等不起。

还有一个折中方案，在很多工业项目里其实是最常用的：先用 max_depth 做粗剪枝，加上 min_samples_leaf 保证叶子的统计可靠性，再用 ccp_alpha 做细剪枝。粗剪枝负责把树的复杂度限制在一个合理范围内，细剪枝负责在范围内找到最优的复杂度-精度平衡点。我自己的经验是用交叉验证把 max_depth 固定在3~5，然后用 ccp_alpha 微调，最终模型通常都在这个区间附近。

6. 连续值、缺失值与过拟合信号：决策树落地的三个边界问题

6.1 连续特征：用二分法找到最优切分点

很多刚入门的人问：决策树不是按"类别"分裂的吗？遇到年龄、收入这种连续数值怎么办？CART的做法是把连续特征的取值排序，然后在每两个相邻取值的平均值处作为候选切分点，逐一尝试，挑基尼增益最大的那个点。

举个例子，如果年龄在某个节点上的取值分别是18、25、30、45，候选切分点就是21.5、27.5、37.5。算法会尝试"年龄 <= 21.5"和"年龄 > 21.5"来切分，然后试27.5、37.5，最终选出基尼下降最多的点。整个过程听起来很简单，但它揭示了决策树的一个特性：它对特征做了很多次"阈值试探"，所以对特征之间的量纲差异不敏感——比如一个特征是0到1之间的比例值，另一个特征是从0到100000的收入值，决策树不需要像神经网络那样做特征归一化。这也是决策树在表格型数据上很好用的原因之一。

但要注意，这个"枚举所有阈值"的过程是有计算代价的，特征取值越多、样本量越大，计算越慢。scikit-learn里其实做了优化，默认会用分位数抽样而不是把所有候选点都枚举一遍，但如果你自己实现树模型，这一块是性能瓶颈的重灾区。

6.2 缺失值：决策树理论上的"自带容错"与sklearn的现实

决策树算法在理论上是能处理缺失值的。C4.5和CART都有自己的一套缺失值处理策略：要么把缺失值样本分到所有分支并按权重计算，要么在分裂时寻找其他强相关的特征作为"代理分裂"来替代有缺失的特征。这意味着，即使某个特征在某些样本上没有值，理论上树也能继续分裂，而不需要像线性模型那样强行插值。

但这里有一个非常现实的坑：scikit-learn的 DecisionTreeClassifier 并不支持缺失值。你传入含NaN的数据，它直接报错。这意味着实际项目中，你依然要在数据预处理阶段处理缺失值——要么删掉缺失比例过高的样本或特征，要么用均值、中位数、众数填充，要么用更复杂的插值方法。千万不要因为"听说决策树能处理缺失值"就直接把原始数据丢进 fit。

如果你真的需要在有缺失值的数据上直接训练树模型，可以考虑用XGBoost、LightGBM这些框架，它们在工程实现上对缺失值有专门的优化。这也是决策树从"单棵"走向"集成"时的一个隐藏优势。

6.3 怎么判断树过拟合了：三个信号要盯住

在实际项目里，模型不会一上来就告诉你"我过拟合了"，但有几个信号非常典型。

第一个信号是训练集和验证集的准确率差距越来越大。如果你发现训练集准确率已经到0.98，而验证集只有0.82，那基本就是过拟合了。正常的模型，训练集和验证集的差距应该在5个百分点以内，超过10个百分点就要警惕。

第二个信号是树的结构过于庞大。如果你把树画出来，发现深度已经到十几层，叶子节点里有很多只覆盖了一条训练样本的"孤叶"，说明树在试图记住每一条样本。这种树别说泛化，连部署之后的解释都很难做——业务方根本没法理解一棵有几百个节点的树在讲什么。

第三个信号是特征重要性分布非常倾斜。决策树可以通过 feature_importances_ 输出每个特征的重要性，过拟合的树往往会把重要性几乎全压在一两个特征上，其他特征几乎没有贡献。这往往意味着树抓住了一些偶然的模式。当你看到这种情况时，剪枝、降维或者增加正则化都值得一试。

6.4 我踩过的三个决策树大坑

第一个坑是没有固定随机种子。决策树在特征相同时，如果随机种子不固定，每次跑出来的树可能完全不一样，尤其是在特征数量多、样本量少的情况下。这不是玄学，而是分裂时如果遇到两个特征增益几乎一样，算法会随机挑一个。所以做实验时一定要设好 random_state，否则你在不同时间跑同一个脚本，得到的结果可能对不上，排查问题的时候会非常痛苦。

第二个坑是过度相信 feature_importances_。这个指标反映的是"在单棵树上，这个特征被用来分裂时带来的纯度提升总和"，不代表因果重要性。如果两个特征高度相关，树可能只用了其中一个，另一个的重要性被压到很低，但这不代表另一个特征没用。特别是放到随机森林里，特征重要性还可能被高基数的类别特征带偏。所以解读特征重要性时，不要直接下"某特征不重要"的结论。

第三个坑是盲目追求分类准确率，忽视业务代价。决策树做分类时，默认阈值是0.5，但很多业务场景里"把负样本错判成正样本"和"把正样本错判成负样本"的代价完全不同。比如故障检测里漏报一次故障的损失远高于误报一次。这种情况下，你需要看的是 predict_proba 输出的概率，而不是 predict 的直接分类结果，然后根据业务情况重新设阈值。树模型的优势就在这里——每一片叶子都可以输出一个概率，这个概率比二分类标签信息量大得多，用好了对业务的帮助会非常大。

在做决策树项目的过程中，我最大的体会是：这个模型的门槛不在于理解公式，而在于你愿不愿意把树画出来、一棵一棵地看、一个节点一个节点地推理它为什么这么切。看得多了，你自然就会预判它会在什么地方过拟合、什么地方对缺失值敏感、哪个参数调了会发生什么变化。这种"手感"是任何课程和文档都给不了你的，只能在真实数据上慢慢磨出来。如果你刚刚学完这一篇，我建议你拿一个自己的表格型数据集，用默认参数和剪枝后的参数分别训练两棵树，对比它们的结构差异和测试集表现。等你亲眼看到"同一份数据，不加限制的树长得乱七八糟、剪完枝之后清爽很多"的那一刻，这一篇的内容才算真正成了你的东西。