一文吃透Scikit-learn模型评估：数据划分、交叉验证与防泄漏

很多人把模型训练完了，跑个accuracy，觉得90%多挺高，就兴冲冲上线。然后过两天业务方找过来：你这模型怎么预测得这么离谱？一看，训练集上表现好得不行，一到真实数据就拉胯。这种场景太常见了，根子上就是评估环节偷了懒。

用Scikit-learn做模型评估，表面上看不过是train_test_split加accuracy_score两行代码的事，但实际操作里全是门道：数据怎么切、切完怎么验证、指标怎么挑、交叉验证怎么配、网格搜索怎么不踩信息泄露的坑……每步选错都可能在最后给你一个大“惊喜”。这篇我把我这些年用Scikit-learn做模型评估的完整思路和踩坑记录梳理一遍，从数据划分到指标选择，从交叉验证到学习曲线诊断，再到嵌套交叉验证和信息泄露的预防，尽量讲透。

1. 模型评估的第一道分水岭：数据划分做得对不对

数据划分是整个模型评估里最容易被低估的一步。很多人觉得不就是train_test_split切一下就行吗？实际上划分方式直接决定了你后面所有评估结果到底可不可信。

1.1 留出法的基础用法与隐藏细节

train_test_split是Scikit-learn里最常用的数据划分工具，但它远不只是“切一刀”那么简单。先看一个日常案例：

python复制from sklearn.model_selection import train_test_split
from sklearn.datasets import load_breast_cancer

data = load_breast_cancer()
X, y = data.data, data.target

# 按7:3划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y
)

这里面有几个参数值得展开说说。

test_size控制测试集比例，这个比例不是拍脑袋定的。数据量大的时候，比如几万条以上，test_size=0.2就够了，测试集几千条样本算出来的指标已经比较稳定；但数据量只有几百条的时候，你还按0.2切，测试集就几十条，任何在测试集上算出来的指标方差都大得吓人。我之前做过一个只有400条样本的二分类任务，同样的模型换个随机种子，测试集上的准确率能从86%跳到93%，这不是模型变好了，纯粹是测试集太小扛不住波动。小数据集上我更倾向于用交叉验证来替代简单的留出法，这个后面专门讲。

random_state是用来固定随机数的，这个“固定”的价值很多人低估了。不固定的话，每次运行划分结果都不同，模型评估结果也就跟着变，你根本分不清改参数带来的提升到底是真提升了，还是换了份数据碰运气碰出来的。固定了random_state，至少能保证每次实验的数据划分是一致的，模型之间的对比才有意义。

重点说下stratify这个参数，这是最容易忽略又最关键的设置。它的作用是分层抽样，让训练集和测试集里各个类别的比例和原始数据集保持一致。二分类还好，如果遇到极度不平衡的数据，比如正样本只占5%，你不分层直接切，很可能切出来的测试集里一个正样本都没有，那评估个啥？模型预测全返回负类，准确率照样95%，毫无意义。更隐蔽的情况是多分类任务，某个小类别样本数本来就少，随机切分可能训练集里有它，测试集里反而没了，或者反过来，这都会让评估结果失真。

1.2 划分数据前必须规避的泄漏场景

数据泄漏是模型评估里最坑的问题，没有之一。它的本质是：训练过程接触到了“本来不该接触到”的信息，导致评估结果虚高，上线后直接崩掉。

最常见的泄漏场景有三种。

第一种是在划分之前做了特征选择或者数据预处理，比如你先用全部数据做方差分析筛特征，筛完再划分训练集和测试集。问题在于，这个筛选过程利用了测试集的信息，测试集不再是未知数据了，评估结果天然偏高。正确做法是先划分再预处理，所有统计量（均值、方差、分位数这些）只从训练集计算，然后套用到测试集上。Scikit-learn里Pipeline可以帮你把预处理和建模串起来，很容易避免这类问题。

第二种是用了目标信息来构建特征。比如预测用户会不会流失，你把“用户是否发过投诉邮件”作为特征，但投诉邮件往往发生在流失前一周，这种特征在训练集和测试集里都有，模型学到的其实是“投诉过的人会流失”，而不是真正的深层规律。这种泄漏很难被代码层面的检查发现，需要业务上足够敏感。

第三种是重复样本跨集合。比如数据里有重复用户，同一个人既出现在训练集又出现在测试集，模型在训练时“见过”这个人，测试时就相当于开卷考试。处理时可以先按用户ID去重，再做划分。

我自己有个习惯：每次划分完数据，会主动打印训练集和测试集的类别分布做个对比。

python复制print("训练集类别比例:", y_train.mean())
print("测试集类别比例:", y_test.mean())

如果两者差距明显，就说明划分可能有问题，需要回头检查。这个习惯帮我挡住过好几次数据泄漏引发的虚假评估。

2. 分类任务评估指标：准确率的局限与怎么选真正有用的指标

分类模型是Scikit-learn里最主流的场景，但大部分教程讲指标就是准确率、精确率、召回率、F1各来一遍就完了。实际项目里选哪个指标，背后是业务逻辑在决定，而不是数学公式。

2.1 混淆矩阵是所有分类指标的源头

python复制from sklearn.metrics import confusion_matrix, classification_report

y_pred = model.predict(X_test)
cm = confusion_matrix(y_test, y_pred)
print(cm)

混淆矩阵输出的四格（二分类下）分别代表：真正例（TP）、假正例（FP）、假负例（FN