朱moyimi先说一个我亲身经历的事。之前有朋友在做信贷风控模型，数据量不算大，一万多条样本，他习惯性地把数据切成训练集和验证集，然后开始了一轮又一轮调参。第一天验证集AUC从0.83调到0.85，第二天到0.87，他信心满满地把模型交给业务方。结果业务方拿最新一个月的真实数据一测，AUC直接掉到0.76。问题不是出在模型上，而是出在评估方式上——同一个验证集被反复用了上百次，验证集的信息早就被模型"记住"了，它已经变成了一个隐式的训练集。后来我让他换成K折交叉验证（K-Fold Cross Validation），同样做调参，最终在真实数据上的表现稳定了很多。
这不是个例。很多人在模型评估上栽跟头，根本原因不是不懂交叉验证这个概念，而是不理解它到底解决了什么问题、在什么场景下用、用的时候有哪些坑。这篇文章我想把K折交叉验证讲透，从原理到代码，从适用场景到常见误区，用我实际踩过的坑和常用的方案把它说清楚。不管是刚入门的新手，还是已经用过sklearn但没深究过原理的工程师，应该都能从里面拿到点东西。
1. 为什么需要K折：从一次"验证集刷分翻车"说起
1.1 一次翻车事件复盘
先把我开头说的那个案例拆开看。朋友的做法是典型的三步：固定划分训练集和验证集、在训练集上训练、在验证集上调参。这个流程看起来没毛病，但问题出在一个隐蔽的地方——验证集不应该被用来做任何决策。
假设你的验证集是2万条样本，你调了200次参数，每次调参都会看一眼验证集分数，然后根据这个分数决定下一次怎么调。这200次"看一眼"本质上就是200次信息反馈，模型和超参的组合会逐渐向这个固定验证集过拟合。到最后，验证集分数已经不是"模型在未知数据上的表现"，而是"模型在这2万个特定样本上的表现"。
更麻烦的是，这种过拟合不会像训练集过拟合那样有一个明显的"训练集分数高、验证集分数低"的信号。因为验证集确实没有参与梯度更新，它的分数看起来是合理且有区分度的。只有当你把模型放到一个从来没有碰过的数据上时，才会发现真实的泛化水平和验证集分数之间有巨大的落差。
那K折交叉验证是怎么解决这个问题的？核心思路是：把数据切成K份，每一轮拿其中1份做验证、剩下K-1份做训练，这样总共做K轮。每一条样本都有机会进入验证集，模型在不同数据子集上的表现会被综合起来看到。平均之后的K折分数，比单次划分的分数要稳定得多，也更接近真实的泛化水平。
1.2 单一划分的两个致命问题
除了"验证集被反复使用导致过拟合"之外，单一划分还有一个容易被忽视的问题：评估结果方差大。
举个例子。假设你的数据是随机排列的，但随机排列本身就有偶然性。你某一次切分时，如果验证集里恰好包含了一批特别容易分类的样本，验证分数就会偏高；反过来，如果验证集里恰好撞上一批噪声很大的难样本，分数就会偏低。换一个随机种子再跑一次，分数可能就差了一个百分点以上。
在模型调优阶段，一个百分点的波动是致命的。因为你没法判断某次改动让AUC从0.85涨到0.86，到底是改动真的有效，还是仅仅是这一次划分运气好了。如果你用K折交叉验证，这个波动就会被平均掉一大部分——每一折都有独立的一组验证样本，K个分数的平均值对单次划分的偶然性不再敏感。
还有一个很多人没意识到的点：单次划分严重浪费数据。你只有1万条样本，切出七三开，验证集只有3000条，训练集只有7000条。数据量本来就小，还不让模型充分学习，最后评估出来的模型是"一个只在7000条数据上训练出来的模型"，而不是"一个应该在全量数据上训练的模型"。K折交叉验证通过多次复用样本，让每一条数据既参与过训练又参与过验证，等于把有限数据的价值榨干了。
1.3 K折的核心直觉与定义
用一句话说清楚K折交叉验证：把数据集随机分成K个大小相近的子集，轮流让每个子集当一次验证集，其余K-1个子集拼起来当训练集，得到K个验证分数，最后取平均作为模型性能的估计。
这个思路的本质是重复利用有限数据。做一次划分就像只考一次试，运气成分很大；考K次取平均，虽然每道题的组合不同，但综合下来能比较客观地反映你的真实水平。K折交叉验证干的正是这件事——让模型在K个不同的"考题组合"下各考一次，然后把成绩平均。
K折交叉验证的核心定义并不复杂，但我发现很多人只记住了"平均一下分数"这个操作，却没有理解它背后的统计逻辑。后面的内容我会展开讲K值的选取、偏差和方差的权衡，以及它和留一法之间的关系。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 从直觉到原理：K值选择背后的偏差方差权衡
2.1 K折的重复抽样逻辑与方差收缩
理解了K折的基本思想之后，最核心的一个参数就是K。为什么大家都说5折、10折？K值的大小对评估结果到底有什么影响？
先说方差这一头。假设你做了K折，每一折的验证集大小是n/K，验证分数是一个随机变量。如果你做K次完全独立的划分，平均后的方差会降到单次划分的1/K。但K折并不是完全独立的随机划分，因为相邻折之间的训练集有大量的样本重合——第1折和第2折的训练集会共享约(K-2)/(K-1)的样本。所以K折平均分的方差收缩没有理想的1/K那么显著，但和单次划分相比仍然稳健得多。
那是不是K越大，方差就一直在降？并不是。K越大，每一折训练集的样本量越接近全量数据，折与折之间的训练集重合度就越高，K个验证分数之间的相关性也越强。当K趋近于样本量n时，也就是留一法，每两折的训练集几乎一模一样，分数之间高度相关，此时取平均的方差收缩效果就很有限了。加上每一折的验证集只有一个样本，单折分数要么是0要么是1，极端情况下方差反而会变大。
所以K折交叉验证里的方差有两个方向的作用力：划分的随机性被平均而下降，以及折间相关性随K增大而上升。这两个力叠加的结果，就是K值太大了不好，太小了也不好。
2.2 K=5和K=10为什么是默认值
那K=10和K=5是怎么来的？
从偏差角度看，K越大，每一折的训练集越接近全量数据，训练出来的模型和"在全量数据上训练的最终模型"分布越接近，评估偏差越小。K=10时，每折训练集占90%的数据，模型基本不会因为少看10%的数据而产生明显的性能偏差。K=5时，训练集占80%，偏差会稍微大一点，但还在可接受范围内。
从方差角度看，K=10的每折验证集更小——只有10%的数据，单折分数波动比5折（20%验证数据）更大，但10个折平均之后，整体稳定性通常还是优于5折。实践中大量经验表明，K=10是一个评估偏差和方差兼顾得比较好的点，所以成为默认选择。
K=5则更多是出于计算成本的考量。训练时间紧张的场景下，K=5意味着只跑5次完整训练，而K=10要跑10次。如果数据量比较大、模型比较复杂，5折能省下一半的算力，评估质量虽然略逊于10折，但通常够用。
我自己的经验是：如果是中小型数据集、训练一次几秒到几分钟，直接上10折；如果训练一次要几十分钟以上，先5折跑通流程，确认方向没问题之后再考虑要不要加折。不要在菜都没下锅的时候就把锅烧穿了，计算资源要花在刀刃上。
2.3 留一法（LOOCV）的适用边界
留一法（Leave-One-Out Cross Validation）是K折交叉验证在K=n时的极端情形，每一折验证集只有1个样本。它的优点看起来很诱人：训练集用了n-1个样本，几乎等于全量数据，评估偏差很小。
但留一法有三个问题常常被人忽略。
第一，验证分数不稳定。单样本验证的结果只有对和错，对于分类问题就是0或1，取平均之后方差很大。比如你100个样本，留一法得到98%的准确率，你可能觉得很高，但这98%的置信区间其实宽得吓人。
第二，计算成本高昂。留一法要训练n次模型，n是多少就要训练多少次。如果样本有几万条，那就是几万次训练，除非模型是那种可以增量学习的，否则基本不现实。
第三，某些模型在留一法下会表现得很奇怪。比如K近邻算法，留一法时训练集和待验证样本的距离几乎等于它和全局数据的距离，某些场景下会得到反常的评估结果。
所以留一法只适合样本量很小（比如几百条以内）、训练成本极低、而且你希望尽可能多地利用数据去训练模型的场景。大多数情况下，K=10的交叉验证就已经足够接近留一法的低偏差优势，同时还保持了计算上的可行性。
3. 代码实践：从手写K折到Scikit-learn全家桶
3.1 用NumPy手写一个K折划分器
先用纯NumPy手写一个K折划分器，不是为了重复造轮子，而是为了让你看清楚sklearn底层到底做了什么事情。当你理解了它的实现细节，后面遇到各种奇奇怪怪的报错和坑就能更从容地排查。
python复制import numpy as np
def manual_kfold_indices(n_samples, n_splits=5, shuffle=False, random_state=None):
idx = np.arange(n_samples)
if shuffle:
rng = np.random.default_rng(random_state)
idx = rng.permutation(idx)
# 计算每一折的大小，样本数不能被折数整除时，前面几折多分一个样本
fold_sizes = np.full(n_splits, n_samples // n_splits, dtype=int)
fold_sizes[: n_samples % n_splits] += 1
current = 0
for fold_size in fold_sizes:
start, stop = current, current + fold_size
val_idx = idx[start:stop]
train_idx = np.concatenate([idx[:start], idx[stop:]])
yield train_idx, val_idx
current = stop
这个实现里有几个细节值得注意。
一是fold_sizes = np.full(n_splits, n_samples // n_splits, dtype=int)这一步，它先把每一折的大小定为n // n_splits的下取整，然后把余数n % n_splits逐个加到前面的折上。这样能保证每个样本恰好只被分到某一个验证集中一次，不会重复也不会漏掉。
二是np.concatenate([idx[:start], idx[stop:]])，训练索引由验证集之前和之后的索引拼接而成。理解这一点很重要：当你拿到的索引不是连续的，而是由好几段拼起来的，处理的时候不要想当然地认为训练集是连续的一段。
三是shuffle的时机。打乱是在切分之前对整个索引数组做的，这样每一折的验证集才是随机的。如果你先切分再打乱，那和没打乱没区别。
使用起来也很直接：
python复制X = np.random.randn(100, 5)
y = np.random.randint(0, 2, size=100)
for fold, (train_idx, val_idx) in enumerate(
manual_kfold_indices(len(X), n_splits=5, shuffle=True, random_state=42)
):
model = LogisticRegression(max_iter=1000)
model.fit(X[train_idx], y[train_idx])
score = model.score(X[val_idx], y[val_idx])
print(f"Fold {fold + 1}: {score:.4f}")
当然，实际项目中没人会用手写的这个版本，sklearn的实现更严谨，还支持split()方法直接配合训练循环使用。但理解这个手写版本，能让你在看到sklearn输出的索引时心里有底。
3.2 KFold、StratifiedKFold、GroupKFold怎么选
sklearn里和K折相关的类有好几个，很多新手一上来就迷糊。我跟你说一个最简单的选择逻辑：先看任务类型，再看数据组织结构。
| 类 | 用途 | 适用场景 | 注意点 |
|---|---|---|---|
| KFold | 普通随机划分 | 回归问题、类别分布均衡的分类问题 | 默认不shuffle，注意数据顺序 |
| StratifiedKFold | 分层随机划分，保持每折类别比例 | 分类问题，尤其是类别不均衡时 | 分类问题的默认选择 |
| GroupKFold | 按组划分，同一组样本不跨折 | 同一用户/设备/地点的多行样本、聚类相关数据 | 没有shuffle参数 |
| RepeatedKFold | 重复多次K折，取平均 | 小数据、评估稳定性要求高 | 计算量倍增 |
为什么分类问题要用StratifiedKFold？道理很简单。如果一个二分类数据集中正样本只占5%，用普通KFold去切，运气不好的话某一折验证集里可能一个正样本都没有。那这一折的评估就没有任何参考价值——模型在这一折上预测全负样本，准确率可能高达95%，但这个分数毫无意义。StratifiedKFold会保证每一折的正负样本比例和全局比例大致一致，每一折的验证都能反映真实的业务分布。
为什么有GroupKFold？因为有一种数据，它的样本不是独立同分布的。比如一个电商平台有1万条用户行为记录，这些记录来自2000个用户，每个用户平均5条。如果用普通KFold，同一个用户的行为可能同时出现在训练集和验证集里，模型在训练时已经"见过"这个用户的历史行为，验证时再看到这个用户的其他行为，本质上是在做记忆而不是泛化。GroupKFold保证同一个组（比如同一个用户）的所有样本要么全在训练集，要么全在验证集。这个在风控、推荐系统、医疗健康等场景里非常常见。
注意GroupKFold没有shuffle参数。因为分组结构是固定的，shuffle样本索引没有意义——同一个组还是得放在同一折里。如果你需要在分组的场景下降低划分随机性的影响，可以搭配GroupShuffleSplit或者手动设定random_state多次运行取平均。
3.3 shuffle与random_state的坑
关于shuffle这个参数，我见过很多次因为处理不当导致实验结果完全不可复现的情况。
先说shuffle什么时候必须开。如果你的数据是按类别排列的——比如数据集前1万条全是负样本，后1万条全是正样本——不shuffle的情况下，普通KFold切出来的折就会偏得非常离谱。某些折全是负样本，某些折全是正样本。
再说shuffle什么时候不该开。GroupKFold没有shuffle是可以理解的，因为分组逻辑下shuffle没有意义。但有些人会犯一个错误：以为对GroupKFold的样本索引做shuffle可以影响分组结果，这是误解。分组是跟着数据走的，不是跟着索引走的。
最关键的是，不管开不开shuffle，你都应该固定random_state。固定随机种子不是为了别的，就是为了让你同实验室跑出来的结果可以复现。如果你今天跑出来AUC是0.853，明天同一个代码跑出来是0.847，你没法判断到底是模型的问题还是数据划分随机性的问题。实务上我会固定random_state=42跑一遍，然后换两个不同的随机种子再跑一遍，看结果是否一致。如果三个种子的结果差得很多，说明你的数据量太小或者划分不稳定，这时候的K折分数就不能轻易采信。
python复制from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=10, shuffle=True, random_state=42)
for fold, (train_idx, val_idx) in enumerate(skf.split(X, y)):
print(f"Fold {fold + 1}: train_size={len(train_idx)}, val_size={len(val_idx)}")
4. 应用场景：该用K折的地方和不该用K折的地方
4.1 必须用K折的场景
K折交叉验证不是万能的，但在下面几类场景里它几乎是标配，没有替代方案。
场景一：数据量不足时的模型评估。 如果你的样本量只有几千条甚至几百条，单次划分的验证集太小，分数波动太大，K折能让每一份数据都被充分利用。比如一个只有3000条样本的客户流失预测任务，单次七三开，验证集只有900条，准确率换一个随机种子可能差出3个百分点。用10折交叉验证，每折验证集也有300条，但10次平均后的稳定性要好得多。
场景二：超参数调优。 网格搜索、随机搜索这类工具的核心逻辑就是比较不同超参组合下的模型性能。如果评估方式不稳定，你比较出来的"最优参数"很可能只是碰巧在那个划分下表现得好而已。sklearn的GridSearchCV里cv参数填一个K折划分器是最基础的用法。注意这时候K折的验证集是在调参过程中使用的，它的作用是选参数，不是报最终数字。
场景三：模型对比。 当你需要在两个模型之间做选择，比如逻辑回归和XGBoost，你希望知道哪个模型的泛化能力更强。单次划分的话，A模型在这个划分下分数高0.001，换个划分可能就反过来了。K折交叉验证能给你一个带标准差的性能估计，从而让你对"谁更好"更有把握。
4.2 特征选择时的K折：避免"优化过拟合"
特征选择是一个特别容易踩坑的地方，我用K折有一个独立的套路。
很多人在做特征选择时，先在整个数据集上用统计检验或特征重要性排序选出一批特征，然后在这批特征上跑K折来验证效果。这个流程看着合理，但存在一个微妙的问题：你在全量数据上看到的信息（比如特征和标签的相关性），本质上已经泄露了验证集的信息。你在全量数据上淘汰了一批特征，这个"淘汰决策"本身已经用到了验证集的信息。
正确的做法是把特征选择也放进交叉验证的每一次循环内部。也就是说，在每一折中，先用训练集做特征选择，再用选出来的特征训练模型，最后在验证集上评估。这样每一折的特征子集可能不完全一样，但最终评估出来的分数才是对整套流程泛化能力的忠实估计。
更进一步，如果你不只是选特征，还要调超参数，那就要用嵌套交叉验证：外层拆K折，在每个外层训练集里再拆一轮内层K折做调参或特征选择，然后外层验证集只做最终评估。说白了就是"验证集这碗水，一滴都不能先碰到"。代价是训练次数翻了好几倍，但在我做过的项目里面，这个代价通常值得付。
4.3 时间序列、深度学习和海量数据场景别硬套
K折交叉验证最理想的前提是：样本之间相互独立，且分布一致。但实际场景里有很多数据并不满足这个前提，硬套K折会出大问题。
时间序列数据。 含时间顺序的数据，比如股票价格、天气预报、用户行为序列，不能直接用随机K折。为什么？因为随机切分会把未来的样本分到训练集、把过去的样本分到验证集。这样模型相当于"见过未来"再预测过去，天然是穿越的，评估出来的分数会异常乐观。时间序列正确的做法是用时序交叉验证（如TimeSeriesSplit）或者滚动预测——训练集始终是验证集之前的数据，而且中间还要留一段间隔，防止时间相关性带来的泄露。
深度学习大模型。 K折意味着要把模型完整训练K次。一个在GPU上要跑两小时的模型，10折就是20小时，成本指数级上升。这种场景下大部分人采用固定验证集，顶多用3折。折数少一点，训练成本可控，评估的方差虽然比10折大一些，但工程上的性价比高得多。
海量数据。 数据量足够大的时候，比如上千万条样本，单次划分的验证集本身就已经足够大、足够稳定了，K折带来的方差改善边际收益很低，但计算成本是线性增长的。这时候用一次七三开或者八二开就够了，没必要纠结必须用K折。
空间相关或强聚类数据。 如果样本之间存在空间或社交网络上的强相关性，比如同一片区域的房价、同一个医院的患者数据，随机K折会让高度相似的样本出现在训练集和验证集里，导致评估分数虚高。这时候应该按区域或按组做GroupKFold，把同一区域的数据完整地放进同一折。
5. 最容易翻车的四个坑
5.1 信息泄露：数据预处理必须放进折里
这是我在实际指导别人时见到最多的问题，也是最隐蔽的坑。很多人一开始在写K折代码时，都是先对整个数据集做标准化、缺失值填充、特征工程，然后再切分成训练集和验证集。从代码顺序上看完全合理，但它导致了一个灾难性的信息泄露。
举个例子。假设你对全量数据做了StandardScaler().fit_transform(X)，然后用K折去评估模型。每一折的验证集在进入训练之前，已经被全量数据的均值和方差"接触"过了。这里的均值和方差是全量数据算出来的，包含了验证集自己的信息，所以当你在验证集上评估时，数据已经被轻微"作弊"了。
正确的做法是每一折在训练集上fit预处理器，然后用这个已经fit好的预处理器去transform验证集。sklearn里的Pipeline可以很优雅地解决这个问题，一个Pipeline传入cross_val_score，里面的所有预处理步骤都只会对训练折进行fit，验证折收到的永远是"没见过"的预处理结果。
下面是错误写法和正确写法的对比：
python复制# 错误写法：先在全量数据上fit标准化
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
scaler = StandardScaler().fit(X)
X_scaled = scaler.transform(X)
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(LogisticRegression(), X_scaled, y, cv=skf)
print(scores.mean())
python复制# 正确写法：预处理放进Pipeline，每一折只fit训练部分
from sklearn.pipeline import Pipeline
pipe = Pipeline([
('scaler', StandardScaler()),
('model', LogisticRegression())
])
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
scores = cross_val_score(pipe, X, y, cv=skf)
print(scores.mean())
这不仅仅是标准化的问题。缺失值填充、类别编码、目标编码、基于全量统计量构造的特征——所有涉及全量数据统计信息的操作都应该放进Pipeline里。
5.2 样本不均衡带来的"局部失明"
样本不均衡的问题是K折在分类任务里最容易翻车的点之一，尤其是二分类中正样本比例极低的情况。假设你的数据集有10万条样本，正样本只有5000条，比例5%。如果用普通KFold切10折，每一折验证集的样本量是1万条，但其中正样本的数量可能在某些折里是0，在某些折里只有几十条。正样本为0的那一折，模型没法在这个验证集上学到任何关于正类的判断力——它对正类的表现是"失明"的。
处理方案是分层抽样。StratifiedKFold能够保证每一折中正负样本的比例和全局大致一致，每一折验证集里都含有近似5%的正样本。如果你是回归任务或者目标变量是连续值，不能直接用StratifiedKFold，但可以把目标变量按分位数切成几个组，然后用StratifiedKFold的groups参数或者StratifiedShuffleSplit来近似分层。
还有一个容易忽略的细节是：用cross_val_score的时候，如果你的评分函数是roc_auc，sklearn的StratifiedKFold.split(X, y)第二个参数必须传y，它需要根据y的类别比例来做分层切分。很多人只传X不传y，导致分层效果没有生效，这在sklearn的API里是一个常见的使用错误。
5.3 不固定随机种子导致结论不可复现
干这一行的人应该都经历过这种崩溃的时刻：昨天跑出来一个漂亮的实验结果，今天再跑一遍，数字对不上了，然后就开始怀疑是不是代码被人改了、是不是服务器有问题、是不是数据被动了。绝大多数情况下，原因就是你没有固定随机种子。
K折划分本身是一个随机过程。你不固定random_state，每次切分都不一样，实验结果的波动不来自模型，而是来自数据划分的随机性。这会带来两个实际问题。第一，你的结果无法复现，别人跑你的代码得不到和你一样的结论，这对协作和评审来说都是重大缺陷。第二，你没法判断模型改动的真实效果。你调了一个参数，分数从0.85涨到0.86，但你没法确定这0.01是不是只是划分运气变了。
我的习惯是固定一个主种子（比如42）做基准实验，然后额外用两个不同种子做稳定性验证。如果两个额外种子的分数和主种子差在0.005以内，说明划分稳定，可以放心下结论。如果差超过0.01，说明数据量或者评估方式本身不够稳定，这时候即使主种子跑出好看的分数，也不应该轻易采信。
5.4 把K折分数当成测试集分数
这个坑是最容易被误解的，尤其被很多初学者混淆。K折交叉验证的分数，是在训练集内部的多个验证折上取平均得到的，它的作用是估计模型经过训练流程之后在同类未知数据上的期望表现。很多人把这个分数当作"测试集分数"来汇报，这是有问题的。
为什么？因为你的整个调参过程、特征选择过程、模型选择过程，都发生在K折分数的"注视"之下。当你看了10次K折分数之后，你选择的模型已经不是"所有模型里泛化最好的"，而是"在这些特定的K折划分下分数最高的"。K折分数已经被优化过了，它会比真实的泛化性能乐观一点——这个偏差叫做优化过拟合。
所以我的建议是：如果手头数据允许，一定要划分出一个独立的测试集，这个测试集从项目开始到结束都不参与任何决策，只在最终模型确定之后跑一次。K折分数用于模型选择、调参和特征选择，独立测试集分数用于对外汇报。
6. 实操总结：我现在的标准K折工作流
写到这里，我把这些年在实际项目里沉淀下来的一套K折工作流整理出来。不能说它适用于所有场景，但至少在我做过的几十个建模项目中，这套流程很少出问题。
第一步：先看数据再定K值。 拿到数据先确认样本量、类别分布、是否有分组结构。数据量几百条，用留一法或者10折；数据量几千到几万条，用10折；数据量十万以上而且训练耗时，用5折或者干脆单次划分。
第二步：按任务类型选划分器。 分类任务无脑上StratifiedKFold，回归任务用KFold，有分组结构用GroupKFold。固定random_state，并且每个实验记录下用的是什么划分器、什么随机种子。
第三步：所有处理都放Pipeline。 从标准化、缺失值填充到特征工程，能放进Pipeline的全部放进去。这样不仅代码整洁，更重要的是从机制上防止了信息泄露。然后通过cross_val_score或者手写训练循环一次性跑完。
第四步：调参和选择模型时用K折分数。 网格搜索、Optuna这类工具内部都会使用交叉验证，直接把cv参数传进去即可。但记住，这个时候的K折分数是对比的依据，不是汇报的最终数字。
第五步：最终模型用独立测试集验证。 模型选定之后，在全量训练数据上重新训练一次，然后到从未碰过的测试集上跑一次。这一步所有人都不许偷懒。
第六步：报分数时带标准差。 不要只写"平均AUC=0.853"，要写"平均AUC=0.853 ± 0.021"。标准差能告诉别人你的评估有多稳。对比两个模型时，看每一折的差值分布，不要只看总平均。
最后我再分享一个实用小技巧。如果时间允许，我会对最终选定的模型做一次重复K折，也就是用RepeatedStratifiedKFold跑5次10折交叉验证，总共50次训练，然后看这50个分数的均值和范围。它比单次K折更稳，能有效避免单次划分的偶然性。代价是训练时间变成5倍，但如果模型训练只要几分钟，这个成本完全值得。
K折交叉验证说到底不是一种神奇的算法，它是一种评估策略。它不能帮你提高模型的真实能力，但能让你准确看到模型的真实能力。很多时候，一个模型项目翻车，不是因为模型不够好，而是因为评估方式自欺欺人。把评估做扎实了，后续的每一步才能站得住脚。