做时序预测这几年,我试过LSTM、TCN、Transformer,也踩了不少坑。单变量时序预测看着简单——给定过去N天的历史值,预测未来一天——但真正想把精度提上去,纯靠单一模型总是差点意思。2024年这个基于DE-Transformer-BiLSTM单变量时序预测的组合方案,是我在多个数据集上实测下来比较稳的一条路线:DE负责自动搜索超参数,Transformer抓长程依赖,BiLSTM收尾建模局部时序特征。关键是,整个框架是单输入单输出,代码结构清晰,Matlab可以直接跑通,非常适合论文实验和工程验证。这篇文章我把整个方案从思路到代码拆开讲一遍,顺带记录我踩过的坑。如果你正准备在Matlab里做时序预测,不管是做课题还是做工程验证,这套流程都能直接参考。
1. 内容整体设计与思路拆解
1.1 单变量时序预测的任务定义:别把问题想复杂
单变量时序预测,本质上就是只有一个变量,所有信息都来自它自己的历史值。比如某地的日温度、某只股票的收盘价、某台设备的振动指标,都是一个序列。我们拿过去的一段连续值,预测下一个时刻的值,这就是“单输入单输出”。注意这里的“单输入”指的是输入特征只有一个维度,而不是说输入只有一个时间点。通常我们会把过去的历史窗口整个喂给模型,窗口里每个时间点都是一个输入元素,但每个时间点的特征维度是1。
那为什么单变量问题反而难?因为你能用的信息很有限,它不像多变量预测那样还能参考其他特征来交叉验证。模型必须学会从序列自身的趋势、周期、波动形态里提取规律。如果是平稳序列还好说,遇到带突变、带噪声的数据,简单模型很容易预测出一个“均值模糊”的结果,看起来损失很低,实际没什么预测意义。我见过很多新手跑单变量预测,训练集损失压到非常低,一画测试集曲线,后半段几乎就是一条直线,那就是模型已经放弃捕捉波动,转而输出均值了。
所以单变量预测的实质,是在“有限信息”下做最充分的特征提取。这也就解释了为什么把Transformer和BiLSTM放在一起,比单独用其中任意一个都要稳。实际应用场景也很广:电力负荷预测、交通流量短时预测、气象要素逐时预测、设备健康指标趋势分析,这些都是典型的单变量时序预测任务。只要数据是一根单列的时间序列,目标是从历史推出未来,这套框架就可以套用。
1.2 Transformer能做什么:抓长程依赖
Transformer起初是给自然语言处理设计的,核心是自注意力机制。在时序预测里,它最大的价值在于可以直接计算任意两个时间点之间的关联程度,不受距离限制。比如过去第20天的某个波动形态,可能和第1天的形态高度相关,普通RNN需要“接力传递”很多步才能把这种关系传到后面,Transformer一步就到位,注意力权重直接告诉你哪个历史时间点对当前预测贡献最大。
单变量序列里,长程依赖非常常见。周期性数据就是典型的例子,比如每天同一时段的用电量、每周同一工作日的客流。用多层LSTM去捕捉这类周期性,需要足够的记忆容量和很长的训练时间,而Transformer的注意力矩阵天然就能把遥远的对应点联系起来。我处理一个日度电力负荷数据时,周期是24小时,窗口长度取到48,步长取1,Transformer能明显把“今天上午9点”和“昨天上午9点”的注意力权重拉高,这是LSTM不容易做到的。
但Transformer在时序上的短板也很明显:它不擅长建模局部连续性。对于“最近几个时刻连续上升,下一步大概率还是上升”这种简单但重要的局部趋势,自注意力未必能精准抓住,而且计算量偏大。序列越长,注意力矩阵越大,训练越慢。所以在单变量时序任务上,我一般不推荐堆纯Transformer,更推荐拿它当特征提取器,而不是直接用它的输出层做回归。
1.3 BiLSTM的价值:补充局部时序特征
BiLSTM是双向LSTM,一个方向从前往后读序列,另一个方向从后往前读,最后拼接两个方向的隐状态输出。在单变量预测中,BiLSTM的“从后往前”方向不是作弊,它是在输入序列内部做逆向建模,帮助模型更好地理解序列的上下文结构。比如某个异常尖峰前后的形态,正向LSTM要等到尖峰出现之后才能“回过味来”,而逆向LSTM从一开始就能看到尖峰之后的情况,相当于给模型多了一双眼睛。
我在自己的实验中对比过:同一个数据集,单独用Transformer,RMSE大概是0.045;单独用BiLSTM,RMSE大概是0.051;把两者组合起来,RMSE能压到0.036左右。这里面有模型容量增加的因素,但更关键的是两者捕捉的信息确实有互补性。Transformer更像是在全局地图上做路径规划,BiLSTM则是在具体路段上判断下一步该怎么走。单变量序列里那些连续上升、连续下降、横盘震荡的局部形态,BiLSTM处理起来非常自然。
还有一个细节值得提:BiLSTM的隐藏维度不用设太大,32或者64就够。单变量输入的信息量有限,隐藏维度太大容易过拟合,还会显著拖慢训练速度。我见过有人把BiLSTM隐藏维度设到128、256,结果训练时间翻了几倍,测试精度反而下降,这就是典型的容量过剩。
1.4 DE算法在这里到底优化了什么
DE,差分进化算法,属于进化算法的一种。它在组合模型里的角色,不是参与预测,而是给模型找一组最优超参数。
Transformer和BiLSTM加在一起,超参数多到让人头疼:学习率、两个分支的隐藏层节点数、注意力头数、dropout比例、batch大小、滑窗长度。这些参数之间还存在耦合,比如学习率调上去之后,dropout也得跟着变,否则就过拟合。手动调参不仅慢,而且很容易陷入局部最优。用网格搜索也不现实,每个参数取5个候选值,6个参数就是5的6次方,一万五千多次实验,跑一宿都不够。
DE的做法很直接:把一组超参数编码成“个体”,生成一个初始种群,然后通过变异、交叉、选择三件事反复迭代,不断逼近“验证误差最小”的超参数组合。它不需要对目标函数求导,哪怕验证误差这个指标非常毛糙、不光滑,也能照常优化。这一点比基于梯度的优化方法更合适,因为深度学习模型训练本身就有很大随机性,验证误差曲线坑坑洼洼的,用梯度类方法很容易卡在坑里。
我见过很多人在这个环节偷懒,直接用固定参数跑一遍就发文章,审稿人一问“为什么选这个学习率”就答不上来。用了DE之后,至少每个参数是跑出来的,不是拍脑袋拍出来的,这条理由在论文里非常好写。而且DE的代码量不大,核心逻辑几十行就能实现,在Matlab里跑起来也不费劲。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心细节解析与实操要点
2.1 数据预处理:滑窗和归一化是命根子
先说归一化。单变量序列的量纲和幅值差异很大,比如温度在0到40之间,股票价格可能在几十到几百之间,如果不归一化,模型会优先拟合幅值大的部分,小波动直接忽略。常用的方法是Min-Max归一化,把数据压到0到1之间,预测完再反算回去。公式也很简单:x_norm = (x - min) / (max - min)。注意max和min只从训练集里统计,不能用测试集的数据去算,否则就是信息泄露。这是一个特别容易犯的错误,很多人图省事把全序列统一归一化,看起来没问题,实际上测试集的极值已经被模型提前知道了,测试指标会虚高。
再说滑窗。滑窗长度W是DE要优化的参数之一。窗口太短,模型看不到足够的周期信息;窗口太长,训练样本数变少,计算量变大。一般建议从上一周期的长度附近开始试。比如处理日周期数据,可以从12步、24步开始;周周期数据可以从48步、96步开始。DE优化时把这个W也当成一个参数让算法自己找,比手动试要靠谱得多。我通常把W的搜索范围设为5到120,DE自己会根据验证集误差去选。
还有一个容易忽略的坑:数据划分必须按时间顺序,不能随机打乱。时序数据一旦打乱,等于把未来信息泄露给了训练集,验证指标的漂亮程度全是假的。训练集、验证集、测试集要严格按照时间切片划分。我的习惯是比例60%训练、20%验证、20%测试,并且测试集必须是最后一段时间的数据,这样才能真实模拟“用历史预测未来”的场景。
2.2 Transformer部分在Matlab里的落地方式
Matlab做Transformer不像Python里那么顺手,但Deep Learning Toolbox从较新的版本开始已经提供了自注意力相关层,比如selfAttentionLayer、multiheadSelfAttentionLayer、positionEmbeddingLayer等。具体函数名和可用版本,以你本机doc命令查到的为准,不同版本之间差异还挺大的。
如果你的Matlab版本没有现成的注意力层,也别慌。Transformer在时序预测里最核心的就三块:位置编码、多头自注意力、前馈网络。位置编码的作用是告诉模型“当前是第几个时间点”,因为自注意力本身是顺序无关的,如果你不给它位置信息,序列调换顺序,输出结果完全一样,这对时序预测来说是致命的。位置编码可以用三角函数编码,也可以在Matlab里用positionEmbeddingLayer。自注意力层直接调用官方层,前馈网络就是两个全连接加一个激活函数,用fullyConnectedLayer配合geluLayer或者reluLayer就能拼出来。
这里有一个非常典型的误区:很多人以为要自己实现一整套Encoder-Decoder结构才算Transformer。但在单变量小规模时序数据上,一个经过自注意力加强的编码块通常就够用了。强行堆6层Encoder只会让模型更难训练,还容易过拟合。我自己的经验是1到2个注意力块最佳,再多收益很小。数据量只有几千条时,浅层结构反而更稳。
2.3 BiLSTM与Transformer的衔接顺序
模型结构上有两种常见的搭法:一种是Transformer在前,BiLSTM在后;另一种是BiLSTM在前,Transformer在后。我的实测经验是“Transformer先编码、BiLSTM再解码”效果更稳定。
具体来说,输入历史窗口数据后,先经过位置编码和自注意力层,让模型把全局依赖关系提取出来,再把注意力输出交给BiLSTM。BiLSTM在带注意力信息的序列上继续做双向时序建模,最后取最后一个时间步的隐状态,接一个全连接层输出预测值。这样的设计逻辑是:先解决“看到谁”的问题,再解决“怎么顺着时间走”的问题。如果你反过来,让BiLSTM先处理原始数据,再去算注意力,两个模型的优势都没有完全发挥出来,效果会打折扣。我在几个数据集上对比过这两种顺序,前者大概比后者RMSE低5%到10%。
另外还有一个结构细节:BiLSTM后面要不要再接一个全连接层?我的答案是必须接。BiLSTM输出的维度是你设定的hiddenSize,而最终预测目标只有1维,必须通过全连接层压缩。这个全连接层可以放在BiLSTM的OutputMode='last'之后。如果预测多步,则把OutputMode改成'sequence',再接全连接层输出多步,但本文讨论的是单步单输出,所以用'last'就够了。
2.4 DE优化的三个关键超参数设定
DE的变异因子F、交叉概率CR和种群规模NP,直接影响搜索效果。经验值上,F取0.5到0.9,CR取0.3到0.9,NP取20到50。
F控制变异强度。F太小,种群容易早熟,收敛到局部最优;F太大,个体跳来跳去,收敛慢。CR控制每个个体有多少维度会参与交叉,CR越大,新个体保留父代信息的越少,探索性强但稳定性差。NP则直接决定每一代要训练多少个模型,NP越大,搜索越充分,但也越慢。
我建议先把NP设为30,F设为0.7,CR设为0.5跑一轮,观察收敛曲线。如果DE的适应度值下降很慢,把F调大;如果适应度值下降很快但后期原地踏步,把F调小,同时把CR调高一点尝试跳出局部最优。DE评估次数一般控制在50到100次,再多时间成本太高,收益有限。我自己常用60次评估加30个种群,在普通CPU机器上大约跑2到4小时能出结果,如果爆显存用GPU会快不少。需要强调的是,这里没有绝对最优的DE参数,不同数据集的最优超参数空间也不一样,DE本身的作用就是替你去找,所以F、CR这些参数只影响找的快慢和稳不稳,不影响最终找到好参数的概率上限。
3. 实操过程与核心环节实现
3.1 完整代码结构总览
整个Matlab工程的目录结构建议这样组织,清晰好维护:
code复制DE_Transformer_BiLSTM/
├── main.m % 主程序入口
├── DE_optimizer.m % DE优化主循环
├── objective_function.m % 适应度函数
├── create_dataset.m % 滑窗数据构建
├── build_model.m % 构建Transformer+BiLSTM网络
├── train_once.m % 训练一个模型的封装函数
└── evaluate.m % 预测与指标计算
main.m里做的事情很单纯:加载数据、做滑窗、调用DE优化、拿到最优参数后重新训练并测试、画图。把功能拆到独立文件里,Debug的时候会省很多时间。尤其是objective_function会很频繁地被DE调用,如果它内部还裹着一大堆数据处理代码,每调一次浪费的时间都是翻倍的。
3.2 数据构建的代码示例
这段是滑窗构建的Matlab代码,实用性很强。注意输出格式,我这里每个样本是一列,符合trainNetwork默认的序列输入形式:
matlab复制function [XTrain, YTrain] = create_dataset(data, windowSize)
% data: 列向量,长度 N
% windowSize: 滑窗长度
N = length(data);
XTrain = zeros(windowSize, N - windowSize);
YTrain = zeros(1, N - windowSize);
for i = 1:N - windowSize
XTrain(:, i) = data(i:i + windowSize - 1);
YTrain(i) = data(i + windowSize);
end
end
这里有几个细节。第一,数据在进入create_dataset之前就应当完成归一化,因为函数内部不处理原始数值范围的问题。第二,如果数据量很大,for循环会有点慢,可以改成toeplitz矩阵一次性构建,但单变量场景通常数据量在几千,for循环完全够用。第三,XTrain的维度是[windowSize, numSamples],而不是[numSamples, windowSize],Matlab的trainNetwork对序列数据约定是“时间维度在第一维”,这一点特别容易搞反。搞反之后模型也能跑,但学出来的东西完全不对,而且很难排查。
3.3 模型构建的核心层设置
在build_model.m里,核心结构如下,我直接给一段可以直接改的Matlab代码:
matlab复制function lgraph = build_model(numHeads, embedDim, hiddenSize, windowSize)
layers = [
sequenceInputLayer(1, 'Name', 'input')
positionEmbeddingLayer(embedDim, windowSize, 'Name', 'pos_emb')
multiheadSelfAttentionLayer(numHeads, embedDim, 'Name', 'self_attn')
layerNormalizationLayer('Name', 'ln1')
fullyConnectedLayer(embedDim, 'Name', 'ffn1')
reluLayer('Name', 'relu')
fullyConnectedLayer(embedDim, 'Name', 'ffn2')
layerNormalizationLayer('Name', 'ln2')
bilstmLayer(hiddenSize, 'OutputMode', 'last', 'Name', 'bilstm')
dropoutLayer(0.2, 'Name', 'dropout')
fullyConnectedLayer(1, 'Name', 'output')
regressionLayer('Name', 'reg')
];
lgraph = layerGraph(layers);
end
几个要点。第一,embedding维度和注意力头数要能被整除,比如embedDim=64,numHeads=8,这样每个头的维度就是8,如果除不尽,multiheadSelfAttentionLayer会报维度错误。第二,BiLSTM的OutputMode必须设为last,因为我们只取最后一步的隐状态做预测,不是输出整个序列。第三,dropoutLayer放在BiLSTM后面,可以缓解过拟合,比例0.2是经验值。第四,regressionLayer负责回归任务的损失计算,时序预测一定不要画蛇添足加softmax。
还有一点,positionEmbeddingLayer这个层在部分Matlab版本里不存在,如果报错,可以用自定义方式实现。简单做法是把位置信息直接拼到输入里,比如在sequenceInputLayer之前手动给数据加一个位置维度。不过更省事的做法是:如果你的工具箱版本没有positionEmbeddingLayer,就先用autoencode方式把序列当成普通数组输入,虽然丢了位置归纳偏置,但配上BiLSTM之后,位置信息其实被BiLSTM的顺序处理特性部分弥补了,效果不会差太多。
3.4 DE优化主循环的核心逻辑
DE的主体逻辑可以写成一个for循环。这里给出核心伪代码,你可以直接翻译成Matlab:
matlab复制for gen = 1:maxGen
for i = 1:NP
% 1. 变异:随机选三个不同个体,产生突变向量
r1 = randi([1, NP]); r2 = randi([1, NP]); r3 = randi([1, NP]);
while r1 == i || r2 == i || r3 == i || ...
r1 == r2 || r1 == r3 || r2 == r3
r1 = randi([1, NP]); r2 = randi([1, NP]); r3 = randi([1, NP]);
end
mutant = pop(r1, :) + F * (pop(r2, :) - pop(r3, :));
% 2. 交叉:按概率混合变异向量与原个体
jrand = randi([1, D]);
for d = 1:D
if rand() < CR || d == jrand
trial(d) = mutant(d);
else
trial(d) = pop(i, d);
end
end
% 3. 边界处理:超出搜索范围就拉回来
trial = min(max(trial, lb), ub);
% 4. 选择:适应度更好则保留,否则丢弃
obj_trial = objective_function(trial);
obj_current = objective_function(pop(i, :));
if obj_trial < obj_current
pop(i, :) = trial;
obj_pop(i) = obj_trial;
end
end
end
核心就三个操作:变异生成突变个体、交叉生成测试个体、选择保留更优个体。objective_function里面做的是:把个体解码头成超参数,构建网络,划分验证集,训练,计算验证集上的RMSE,返回。
这里有一个效率优化点:每次调用objective_function都要重新构建网络和trainNetwork,非常耗时。如果种群里有好几个个体在连续几代都没有变化,它们的适应度值是重复的,可以加一个缓存表,把参数组合和适应度值存下来,下次遇到一模一样的参数直接返回缓存结果。在DE后期,种群收敛,重复个体的出现频率很高,这个优化能省差不多20%到30%的时间。
3.5 最优参数的提取与最终训练
DE结束后,最优个体就是我们在验证集上找到的最优超参数组合。接下来用这个参数重新构建模型,在训练集上联合验证集再训练一次,然后在独立的测试集上评估,得到最终的RMSE、MAE、R2等指标。
这一步有个容易踩的坑:如果DE优化时是在验证集上选参数的,那么测试集在优化过程中绝对不能使用,否则就信息泄露了。我习惯把数据切三份:训练集60%、验证集20%、测试集20%。DE用训练集训练、验证集评估,最后用训练集加验证集重新训练,测试集只碰最后一次。注意这个“重新训练”不是可选项,必须做。DE优化阶段用的epoch数偏短,用最终的最优参数加大epoch数再练一次,模型能发挥全部潜力。
评估指标建议从RMSE、MAE、R2、MAPE四个维度看,单一指标很容易被极端值带偏:
| 指标 | 计算公式 | 说明 |
|---|---|---|
| RMSE | sqrt(mean((y_true - y_pred).^2)) | 对误差进行平方,放大较大误差,主要衡量极端偏差 |
| MAE | mean(abs(y_true - y_pred)) | 直观反映平均偏差,不受方向影响 |
| R2 | 1 - sum((y_true-y_pred).^2)/sum((y_true-mean(y_true)).^2) | 衡量模型对数据方差解释的比例,越接近1越好 |
| MAPE | mean(abs((y_true-y_pred)./y_true)) * 100 | 相对误差百分比,用于不同量纲数据对比 |
4. 常见问题与排查技巧实录
4.1 训练过程中损失直接变NaN
这是最常见的坑,几乎每个跑时序预测的人都遇到过。主要原因有三个:一是学习率太大,梯度爆炸;二是数据里有NaN或Inf,模型直接崩;三是序列数据未归一化,梯度量级失控。
排查顺序很简单:先检查数据有没有NaN和Inf,再检查归一化,最后把学习率降一个数量级试试。DE在搜索过程中会把学习率搜到过大范围,所以objective_function里一定要对参数范围做硬约束,比如学习率上限设0.01,太大就截断。我见过太多人栽在“模型一训练就NaN”上,最后发现是DE搜出了一个0.1的学习率,一迭代梯度直接爆掉。另外,如果你的训练数据里有极端的尖峰值,比如数值突然跳变到几千,Min-Max归一化之后这些点会变成接近1的极端值,但不会导致NaN。真正导致NaN的往往是归一化时不小心把0做了分母。
4.2 验证集效果不错,测试集效果崩了
这是过拟合的典型表现。Transformer参数多,BiLSTM又是双向结构,叠加起来参数量相当可观。单变量数据量通常只有几千个点,非常容易过拟合。我遇到过最夸张的一次,验证集RMSE是0.021,测试集RMSE到了0.089,模型把训练集学得死死的,一上真实数据就露馅。
解决办法有三种:第一,把dropout加上,在attention层后和BiLSTM层后各加一个dropoutLayer,比例从0.1到0.3之间调;第二,减小模型容量,把注意力维度和BiLSTM隐藏维度降到32或16;第三,增大正则化权重,在trainNetwork的trainingOptions里设置L2Regularization,从1e-4调到1e-2。我实测的体验是,单变量小数据集上,一个注意力维度64的Transformer块加一个隐藏维度32的BiLSTM,已经能覆盖大多数场景了。模型堆太大,训练时间翻倍,测试指标反而更差,得不偿失。
4.3 DE优化太慢了,一跑就是一晚上
DE每次评估都要训练一个完整的深度学习模型,60次评估就是60次训练,这个时间成本确实高。几个加速建议:
第一,把评估时的训练epoch降到20到30,只求相对好坏,不求绝对精度。第二,用早停机制,validation patience设5,验证损失连续5轮不降就终止训练,能省一半时间。第三,如果你的电脑有GPU,确保Matlab在用GPU训练,在trainingOptions里设置ExecutionEnvironment为'gpu'。第四,DE优化过程中对验证集划分方式要保持一致,比如每次都随机抽20%当验证集,但随机种子保持固定,否则同一组参数在不同划分下评估结果会抖动,DE的收敛方向会受影响。
还有一招是我自己会用的:先固定滑窗长度,用少量种群跑50代,得到粗略的超参数范围;再用这个范围把DE细化跑一轮。两阶段策略比一次性全参数搜索快很多。比如第一阶段先把种群设10个,评估30次,跑一个粗范围,锁定一个大致的参数区间;第二阶段再用种群30个,评估60次,在细范围里精搜。这样整体时间能压缩一半以上。
4.4 Matlab各版本对Transformer层支持不一样
这个问题很现实。较新版本的Deep Learning Toolbox才有比较完整的自注意力层支持,较早版本很可能没有multiheadSelfAttentionLayer。如果你用的版本比较老,替代方案是自己写一个自定义层,或者用Python做Transformer部分、Matlab做数据处理,但那样工程复杂度就高了。
最稳妥的做法是:先在命令行输入which multiheadSelfAttentionLayer看看有没有这个层。如果没有,升级工具箱,或者考虑把注意力层换成sequenceInputLayer加lstmLayer,保留BiLSTM主体,虽然效果弱一些,但代码能跑通。注意不同版本对layerGraph的支持也有差异,如果你的版本较老,build_model里的layerGraph可能不识别某些层,必要时改成dlnetwork方式手动定义前向传播,但那样代码量会明显增加。如果遇到这种情况,我建议优先考虑升级Matlab版本,因为新版处理起来方便太多。
4.5 测试集结果偶尔会抖动,怎么看结果才可信
深度学习的随机性来自权重初始化和训练时的数据shuffle,所以哪怕DE找到的最优参数相同,跑两次测试集结果也会有细微差异。我第一次跑完模型,测试集RMSE是0.035,第二天再跑一遍变成0.041,当时以为代码写错了,排查了半天,最后发现就是随机种子造成的。这其实是正常现象,不是bug。
建议的做法是:固定随机种子。在Matlab里用rng(42)固定随机数生成器,放在构建模型和训练之前,这样结果可复现。更进一步,可以用同一组最优参数在测试集上跑5次,取平均结果和标准差。写论文的时候写“RMSE均值为0.032 ± 0.001”,比单次结果更有说服力,审稿人也挑不出毛病。
5. 我的一些实操体会
最后说点我自己的感受。DE-Transformer-BiLSTM这种组合模型,本质上不是玄学,而是把三件事拆开让每一部分做自己最擅长的活:DE管超参数、Transformer管全局依赖、BiLSTM管局部形态。它的价值在于稳定和可解释,而不是“新”。
如果你手上正好有单变量时序预测任务,我建议先别急着抄代码跑实验,先把任务定义清楚——预测步长是多少、数据有多少、周期是否明显。这三个问题想清楚了,再用我这套流程去搭,会顺很多。我之前在一个日度电力负荷数据集上跑通之后,换个数据集只需要改改数据加载路径和窗口范围,其余基本不用动,这就是这套组合最实用的地方。
另外一个心得是:DE优化跑出来的超参数组合,不一定是最直觉的参数,但它是在验证集上真正表现最好的。有时候你会觉得“这个模型怎么有点怪”,比如学习率很小但隐藏层节点很大,但只要验证集效果好,就值得信任。做时序预测,最终看的是测试集上能不能打,而不是模型结构符不符合直觉。
