驯服随机森林：从过拟合诊断到实战调优指南

1. 随机森林与过拟合：初学者的第一道坎

第一次用随机森林做分类任务时，我盯着99%的训练集准确率和65%的测试集准确率发呆——这就像考前把教材背得滚瓜烂熟，结果试卷上的题目全变了样。随机森林作为集成学习的"瑞士军刀"，确实容易让新手掉进这个陷阱。它的工作原理就像让一群决策树专家各自独立做判断，最后投票决定结果。但问题在于，如果每个专家都死记硬背训练数据（就像我们考前只背例题），遇到新问题时就会集体翻车。

过拟合的典型症状有三类：训练集表现远超测试集、模型对噪声数据异常敏感、特征重要性出现反常识分布。上周帮电商团队优化推荐系统时就遇到过这种情况——模型在历史数据上预测精准，但新用户点击率预测完全失灵。通过绘制学习曲线发现，测试集误差在训练样本超过50%后就停止下降，这就是典型的过拟合信号。

2. 诊断过拟合：给模型做全面体检

2.1 学习曲线：模型的成长轨迹

绘制学习曲线是我最推荐的诊断方法。用sklearn的learning_curve函数可以直观看到模型是否"学到位"：

python复制from sklearn.model_selection import learning_curve
import matplotlib.pyplot as plt

train_sizes, train_scores, test_scores = learning_curve(
    RandomForestClassifier(n_estimators=100),
    X, y, cv=5, scoring='accuracy'
)

plt.plot(train_sizes, np.mean(train_scores, axis=1), label='Training score')
plt.plot(train_sizes, np.mean(test_scores, axis=1), label='Cross-validation score')
plt.legend()

健康曲线应该是两条逐渐靠近的线，如果测试集曲线早早走平，说明增加数据也救不了过拟合。最近优化信用卡欺诈检测模型时，就靠这个发现需要调整树深度而非增加数据量。

2.2 验证集表现：模型的实战考试

把数据分成训练集、验证集、测试集是基本功，但很