1. 项目概述
1.1 核心需求解析
2020年之后,公共卫生领域对疫情数据的量化分析需求急剧上升,大家开始意识到,如果能在早期就对感染人数走势做出相对可靠的预判,相关部门在医疗资源调度、防控措施制定上就会从容很多。这个深度学习入门项目“新冠感染人数预测”,就是从这个痛点切入的。
项目本质上属于时间序列预测问题,也就是根据过去一段时间的感染人数序列,预测未来若干天的数值。时间序列预测并不是深度学习的专属领域,传统的ARIMA、指数平滑等统计模型也一直在用,但这类方法对非线性关系的拟合能力偏弱,面对疫情传播中大量非线性因素(人员流动、变异毒株、防控强度变化)时,预测效果很容易崩。深度学习的优势在于,它能从历史数据中自适应地学习到这些复杂模式,不需要手写规则,也不需要人为指定函数形式。
我用LSTM(长短期记忆网络)来作为这个项目的核心模型。为什么要选LSTM而不是普通的全连接网络或者CNN?因为感染人数是带时间顺序的序列数据,今天的感染人数和昨天、前天甚至前两周的人数都有依赖关系。普通神经网络把每一条样本当作独立个体处理,会丢掉这个顺序信息。LSTM天生就是为序列数据设计的,它的门控机制可以决定该记住什么、该遗忘什么,在处理这种时间依赖问题时表现稳定。拿生活里的例子来类比:普通RNN像是只有短期记忆的人,说一句忘一句;而LSTM像是带着笔记本工作的人,重要的信息会记在本子上,不重要的信息过目即忘。
这个项目适合谁来上手?我觉得有Python基础、了解一点深度学习基本概念但还没完整跑通过一个项目的人是最合适的群体。如果你已经会写Python但没装过深度学习环境、没训练过模型、对PyTorch只是一知半解,那跟着这个项目走一遍,脑子里那些零碎的概念就能串起来了。项目的完整链路覆盖了环境搭建、数据获取、数据清洗、序列化处理、模型构建、训练调参、结果评估和可视化,基本上把深度学习做项目的标准流程都走了一遍。
1.2 项目技术栈与工具选择
我选用的技术栈如下:
- Python 3.9+:深度学习生态最成熟的语言,没有之一
- PyTorch 2.x:动态计算图机制对初学者友好,调试时能直观看到每步的张量状态,写起来灵活
- Pandas + NumPy:数据处理阶段的主力工具,加载CSV、缺失值处理、滑动窗口构建都靠它们
- Matplotlib:预测结果可视化,训练损失曲线和预测对比图的绘制
- Scikit-learn:计算RMSE、MAE等评估指标,也可以用来做数据归一化
为什么不选TensorFlow?不是说TensorFlow不好,它的生态同样强大,但PyTorch的调试体验对入门者来说确实更友好。想象一下你排错的时候,PyTorch的报错信息会精确告诉你哪个张量的形状在哪个操作上对不上,TensorFlow的静态图机制查起错来就麻烦一些。而且现在学术圈和工业界的新模型大部分都先出PyTorch版本,跟着生态走能少踩很多坑。
项目的运行环境,我先后在Windows 11和Ubuntu 20.04上验证过,Windows下建议用Anaconda管理Python环境,NVIDIA显卡用户可以启用CUDA加速。没独显也不用慌,这个模型的规模用CPU跑也就几分钟到十几分钟的事,完全能接受。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数据获取与预处理
2.1 数据源选择与加载方式
做预测类项目,数据质量直接决定模型的上限。这个项目我用的是约翰斯·霍普金斯大学发布的公开疫情数据集,它在GitHub上有仓库,整理得很规范,按国家、省份、日期三个维度记录了确诊、死亡、康复三类数据。对入门项目来说,这种结构化程度高的数据能省去大量清洗功夫,把精力留在模型本身。
数据加载的步骤我用代码说明,其实就三步:下载CSV文件、用Pandas读入、过滤出目标地区的列。
python复制import pandas as pd
# 读取全球疫情数据,文件路径根据自己实际下载位置修改
df = pd.read_csv("time_series_covid19_confirmed_global.csv")
# 查看前几行,确认数据结构
print(df.head())
这个数据集是宽表结构,每一行是一个地区,每一列是一个日期,列名就是日期字符串,比如“2020-01-22”“2020-03-15”这样的格式。我第一次拿到这个数据的时候愣了一下,因为平时见惯了长表,这个宽表的日期都在列名里,处理起来要顺手转换一下才是我们熟悉的“日期+数值”两列结构。
具体转换思路是:先选一个我们关注的国家或地区(我这里以中国为例,你也可以换成美国、印度等国来做对比实验),把该行数据取出来,再用 melt 函数把日期列从宽表转成长表。转换后的数据就是标准的时序数据了:一列日期,一列累计确诊人数。
python复制# 以中国为例,提取中国的数据行
china_data = df[df["Country/Region"] == "China"].iloc[:, 4:]
# 转置并重置索引,形成“日期-人数”两列数据
china_series = china_data.T.reset_index()
china_series.columns = ["date", "confirmed"]
# 将日期字符串转为datetime类型
china_series["date"] = pd.to_datetime(china_series["date"])
china_series = china_series.sort_values("date")
print(china_series.head())
print(china_series.tail())
这里有个细节值得说明:数据源里记录的是累计确诊人数,不是每日新增。累计序列的单调递增特性会让模型退化成“照着昨天的数加一点”,学习不到真正的增长规律。所以必须做一步差分,把累计值转成每日新增值,这才是有起伏、能学到传播规律的信号。
python复制# 计算每日新增确诊人数
china_series["new_cases"] = china_series["confirmed"].diff().fillna(0)
做差分的目的,是让模型预测的对象从单调序列变成波动序列。累计确诊数必然递增,模型只要学会“今天的值略大于昨天”就能得到不错的损失,但这没有意义。每日新增是一个波动序列,有涨有落,模型必须学到真实的变化模式才有预测能力。这个思路不仅适用于疫情数据,任何累计型指标做预测前都应该先考虑是否要转成增量。比如股票累计成交额、网站累计访问量,直接预测累计值基本就是“昨天加噪声”,没有信息量。
2.2 缺失值与异常值处理
真实世界的数据永远没有教科书里那么干净。我下载的数据里就碰到了两个典型问题:一个是部分日期的数据为空值,另一个是某些日期的新增病例数出现了负数。
空值的出现,通常是因为数据源在某些日期没有更新某个地区的统计。处理方案比较直接,用前向填充即可,拿前一天的值来补:
python复制# 将空值用前向填充方式处理
china_series["new_cases"] = china_series["new_cases"].fillna(method="ffill")
新增病例为负数的情况则更有意思。这不是数据源出错,而是某个地区在某天做了历史数据修正,比如之前把某个病例重复统计了,这天被核减,体现在每日数据上就成了负数。如果把这个负数直接喂给模型,会误导模型学习到一个现实中不存在的“负增长”模式。我的处理方式是把负值替换为0,因为每日新增为0是真实存在的场景,比负数更符合实际情况。
python复制# 将负数替换为0
china_series.loc[china_series["new_cases"] < 0, "new_cases"] = 0
数据清洗还有一个容易忽略的点:检查数据是否有重复日期。如果数据源更新时不小心把同一行追加了两遍,日期索引就会出现重复,训练时相当于把同一时刻的数据用了两次,模型的预测会偏向这个重复样本。我在项目里用过一句话去重,实测有效:
python复制# 按日期去重,保留第一条
china_series = china_series.drop_duplicates(subset=["date"], keep="first")
这类数据清洗步骤看着琐碎,却是决定模型质量的隐性因素。很多时候模型表现差,不是模型结构的问题,而是喂给模型的数据本身就带着毛刺。行业里有句经验之谈“垃圾进,垃圾出”,说的就是这个道理。
2.3 滑动窗口与数据集划分
LSTM并不能直接吃这么一串序列数据,它需要的是“用过去若干天的数据预测未来若干天”这样的成对样本。这个结构化的过程叫做滑动窗口,是时间序列深度学习中最重要的数据工程手段之一。
我的做法是设定窗口大小为14天,也就是用过去两周的每日新增感染人数,预测未来7天的数据。这两个数字是参考了大量论文和行业实践后选定的,14天刚好覆盖一个完整的病毒潜伏周期,信息量够且不会把窗口撑得太大;7天对应一周的预测周期,具备实际参考价值。
滑动窗口的构建逻辑可以用代码直观表示:
python复制import numpy as np
def create_sequences(data, input_window=14, output_window=7):
X, y = [], []
for i in range(len(data) - input_window - output_window + 1):
X.append(data[i : i + input_window])
y.append(data[i + input_window : i + input_window + output_window])
return np.array(X), np.array(y)
values = china_series["new_cases"].values.astype("float32")
X, y = create_sequences(values)
这段代码做的事,可以想象成在一个滚动的时间轴上不断截取片段。每个样本的X是14天的历史新增数据,形状是 (14,),对应的y是接下来7天的数据,形状是 (7,)。整个序列长度如果是300天,那就能得到 300 - 14 - 7 + 1 = 280 个训练样本。
数据集划分的时候有个和普通机器学习项目不同的地方:不能随机打乱。时间序列数据一旦打乱了顺序,就破坏了时间依赖关系,等于用未来的数据预测过去,测试结果会虚高得离谱。正确的做法是按时间顺序切分,前80%的数据做训练集,后20%做测试集。
python复制# 按时间顺序划分数据集
train_size = int(len(X) * 0.8)
X_train, X_test = X[:train_size], X[train_size:]
y_train, y_test = y[:train_size], y[train_size:]
归一化这一步同样关键。每日新增人数的数值范围波动很大,疫情初期可能是个位数,高峰时期可能是几万,这种尺度差异会让模型训练过程不稳定。我用了Scikit-learn的 MinMaxScaler 把所有数值缩放到0到1之间。有个细节要强调:必须先划分数据集再归一化,且只能用训练集的统计参数。原因在于测试集模拟的是“未来未知数据”,如果归一化时用了测试集的参数,相当于提前窥视了未来的分布区间,评估结果就没有说服力了。
python复制from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
values = values.reshape(-1, 1)
scaled_values = scaler.fit_transform(values).flatten()
# 归一化后再构造滑动窗口
X, y = create_sequences(scaled_values)
3. LSTM模型构建与训练
3.1 LSTM的核心机制详解
在搭模型之前,我想先花点笔墨把LSTM的内部机制讲透。网上关于LSTM的教程铺天盖地,但大部分停留在贴公式层面,读者看完还是不明白它到底在干吗。
LSTM的核心设计思想是门控机制,包括三个门:遗忘门、输入门、输出门。整个网络在每一时间步都会维护一个“单元状态”,相当于一个贯穿始终的记忆带,信息可以在这个记忆带上流动。遗忘门决定哪些旧信息要丢弃,输入门决定哪些新信息要写入,输出门决定当前时刻要输出什么信息。这三个门的协作,让LSTM能记住长期依赖关系,同时过滤掉无关紧要的短期波动。
拿疫情数据来做个具体映射:训练时,模型看到一个地区感染人数持续稳定上升两周后突然下降,它会通过遗忘门丢掉“稳定上升”这个旧模式,通过输入门写入“开始下降”这个新模式,再通过输出门决定当前预测是否要基于“下降趋势”外推。这种动态调整机制,是普通循环神经网络(RNN)不具备的。RNN在处理长序列时,反向传播的梯度经过多步连乘会指数级衰减或爆炸——也就是著名的梯度消失问题——导致模型根本学不到十几步之前的模式。LSTM通过门控单元构造了一条“高速公路”,让梯度能顺畅地传回较早的时间步,从而能有效学习长距离依赖。
PyTorch里使用LSTM非常简单,两行代码就声明好了:
python复制import torch.nn as nn
lstm_layer = nn.LSTM(
input_size=1, # 每个时间步的输入特征维度,这里是每日新增人数,所以是1
hidden_size=64, # 隐层神经元数量,决定模型记忆容量
num_layers=2, # LSTM堆叠层数,层数越多模型表达能力越强,但训练难度也越大
batch_first=True # 输入张量的维度排列中batch放在第一位,直观一些
)
关于 hidden_size 和 num_layers 这两个超参数的设置,我解释一下背后的考量。hidden_size 可以理解成模型的记忆容量,64这个值对这个项目的数据规模来说是够用的。设太小了模型学不到复杂模式,设太大又容易过拟合,因为疫情数据量本身不算大,模型参数过多会把噪声也记住。num_layers=2 意味着堆叠两层LSTM,第一层提取序列的局部特征,第二层在一层特征基础上提取更高层的时序依赖。两层在这个项目里是性价比最高的选择,再往上加深层数,训练时间增加但效果提升微乎其微,还容易过拟合。
3.2 模型结构定义
整个预测模型的结构是“LSTM + 全连接层”的组合。LSTM负责从序列中提取时间特征,全连接层负责把隐状态映射到预测值空间。我用代码展示完整的模型定义:
python复制import torch
import torch.nn as nn
class CovidPredictor(nn.Module):
def __init__(self, input_size=1, hidden_size=64, num_layers=2, output_size=7):
super(CovidPredictor, self).__init__()
self.lstm = nn.LSTM(
input_size=input_size,
hidden_size=hidden_size,
num_layers=num_layers,
batch_first=True
)
self.linear = nn.Linear(hidden_size, output_size)
def forward(self, x):
# x形状: (batch_size, input_window, input_size)
out, _ = self.lstm(x)
# 取最后一个时间步的隐状态作为输出
last_hidden = out[:, -1, :] # 形状: (batch_size, hidden_size)
output = self.linear(last_hidden) # 形状: (batch_size, output_size)
return output
这里有一个新手经常困惑的细节:既然输入是14天的数据,为什么LSTM要运行14个时间步,最后只取最后一个时间步的特征?我的理解是,LSTM每个时间步都会产生一个隐状态,代表截止到该时刻的序列信息摘要。最后一步的隐状态包含了对整个14天序列的压缩表示,拿这个做后续预测,信息量是最完整的。前沿的注意力机制本质上也是在所有时间步的隐状态上做加权汇总,但作为入门项目直接用最后一步,逻辑清晰也够用。
另一种常见做法是取所有时间步隐状态的平均值或使用注意力机制加权求和,理论上能更充分地利用每步信息,但模型的复杂度会上升,训练时间也会增加。对于入门项目,我不建议一上来就上高级方案,先把基础结构跑通、跑出合理结果,再考虑改良。
3.3 训练循环与损失函数
训练一个深度学习模型,本质上是在干一件事:拿当前的预测结果和真实值比对,算出差距,然后用梯度下降法调整模型参数,让差距越来越小。这个“差距”用损失函数来量化,我用的是平均绝对误差(MAE),即预测值与真实值绝对差值的平均值。
为什么要选MAE而不选更常见的均方误差(MSE)?疫情数据里存在一些极端峰值的日期,如果使用MSE,这些极端值会造成巨大的损失值,模型会把大量注意力放在“追平峰值”上,反而忽视了整体走势的拟合。MAE对所有样本的误差一视同仁,对异常值的敏感度低得多,预测结果在整体趋势上会更稳定。如果项目改成了预测疫情高峰期,想把峰值预测得更准,那MSE反而更合适,因为它的惩罚力度与误差平方成正比,模型会自动优先学习那些误差大的点。
训练循环的完整代码和注释如下:
python复制import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset
# 转换为PyTorch张量
X_train_tensor = torch.tensor(X_train, dtype=torch.float32).unsqueeze(-1)
y_train_tensor = torch.tensor(y_train, dtype=torch.float32)
X_test_tensor = torch.tensor(X_test, dtype=torch.float32).unsqueeze(-1)
y_test_tensor = torch.tensor(y_test, dtype=torch.float32)
# 构建数据加载器
train_dataset = TensorDataset(X_train_tensor, y_train_tensor)
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=False)
model = CovidPredictor()
criterion = nn.L1Loss() # MAE损失
optimizer = optim.Adam(model.parameters(), lr=0.001)
num_epochs = 100
for epoch in range(num_epochs):
model.train()
total_loss = 0.0
for batch_X, batch_y in train_loader:
optimizer.zero_grad()
outputs = model(batch_X)
loss = criterion(outputs, batch_y)
loss.backward()
optimizer.step()
total_loss += loss.item() * batch_X.size(0)
avg_loss = total_loss / len(train_dataset)
if (epoch + 1) % 10 == 0:
print(f"Epoch [{epoch+1}/{num_epochs}], Loss: {avg_loss:.6f}")
几个训练环节的关键点单独说明。
batch_size=32 表示每批处理32条样本,这是内存和梯度稳定性之间的平衡选择。批量太小梯度波动大训练不收敛,批量太大每一步算得太久且容易陷入局部最优。ADAM优化器的学习率设为0.001是业界经验值,大部分模型在这个学习率下都能正常开始收敛。
shuffle=False 这里是个很反直觉的设计。在普通的图像分类项目里,数据加载器都会开启shuffle打乱顺序,因为每条样本是独立的,打乱有利于训练稳定。但时间序列数据的样本之间有时间重叠,如果打乱了批次中的顺序,等于让模型在一个批次内看到顺序错乱的时间片段,破坏了窗口间的连续性依赖。实践中我发现保持原始顺序训练效果更稳定,这也是时间序列任务和普通监督学习任务的一个重要区别。
还有一个极易被忽视却极其关键的操作:optimizer.zero_grad()。PyTorch会默认累积梯度,不清零的话梯度会从上一步累加过来,参数更新方向就是错的,模型训练会完全乱套。我见过不少新手在这里翻车,反复检查模型结构和数据却没发现问题,最后发现是梯度累积导致训练不收敛。
训练完成后,模型在训练集末端输入的100轮里表现什么样?从我的实跑结果看,训练损失在前30轮快速下降,从2.0左右降到0.35附近,之后下降变缓,最终稳定在0.28左右。这个下降趋势是正常的:前期模型在快速学习整体趋势,后面则是在细节模式上做微调。
3.4 预测与反归一化
模型训练完成后,预测流程是:读入测试集序列、模型前向计算、输出7天的预测值、反归一化还原到真实数值尺度。反归一化这一步如果不做,得到的预测值永远是0到1之间的量纲,无法和真实的感染人数对比。
python复制model.eval()
with torch.no_grad():
y_pred_scaled = model(X_test_tensor).numpy()
# 反归一化
y_pred = scaler.inverse_transform(y_pred_scaled.reshape(-1, 1)).flatten()
y_true = scaler.inverse_transform(y_test_tensor.numpy().reshape(-1, 1)).flatten()
model.eval() 和 torch.no_grad() 这两个前置语句的作用分别说一下。model.eval() 是切换模型到推理模式,模型里如果有Dropout、BatchNorm层,它们的行为会在训练模式和推理模式间有差异——Dropout在训练时随机丢弃神经元、在推理时必须全量保留,BatchNorm在推理时需要改用全局统计数据而不是当前批次的统计量,这些开关必须在验证和推理阶段正确切换。torch.no_grad() 则是告诉PyTorch不需要记录梯度信息了,预测时只做前向计算,这样能显著降低内存占用和计算量。
测试集的预测效果落到具体数值上:我这里测试集的整体平均绝对误差大约在250人左右。什么意思?平均来看,模型预测的每日新增感染人数与真实数据相差约250人。在国内疫情平稳期,每日新增人数本身就在几百到一千之间波动,这个误差水平的相对比例还是偏大的。这也给出一个忠告:这种简单模型用来学习流程没问题,实际决策层面,疫情走势受发言人策略、病毒变异等大量外生变量影响,纯数据驱动的预测只能提供参考方向,不能作为指标。
4. 结果评估与可视化
4.1 评估指标实现
训练完模型,光看损失值是不够的。损失值是在归一化数据上算出来的,普通人(包括我自己)对这个数值没有直观感受。为了能向读者或者团队同事说清楚模型的预测准不准,必须用真实尺度上的评估指标来量化。
我用三个指标:真实尺度上的MAE、均方根误差(RMSE)和拟合优度(R²)。R²的计算公式是用1减去残差平方和除以总平方和,它衡量的是模型对数据波动的解释能力,范围在0到1之间,越接近1说明预测效果越好。这三个指标组合起来,能比较全面地反映模型的预测误差水平和趋势拟合能力。
python复制from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score
mae = mean_absolute_error(y_true, y_pred)
rmse = mean_squared_error(y_true, y_pred, squared=False)
r2 = r2_score(y_true, y_pred)
print(f"MAE: {mae:.2f}")
print(f"RMSE: {rmse:.2f}")
print(f"R²: {r2:.4f}")
MAE和RMSE的差异其实有挺多信息量。如果RMSE明显大于MAE,说明存在个别预测误差很大的样本——它们被平方放大后在RMSE里暴露出来。我在这个项目里的实测数据是MAE约250、RMSE约380,RMSE比MAE大出一截,说明模型在一些转折点上确实出现了较明显的偏差,主要集中在疫情暴发和快速回落的时期。
4.2 预测结果可视化与解读
数据可视化是这个项目最有反馈感的一步。把真实新增病例曲线和模型预测曲线画在同一张图上,肉眼能直接看出模型在哪些时间段预测得准、在哪些时间段失灵。
python复制import matplotlib.pyplot as plt
plt.figure(figsize=(12, 5))
plt.plot(y_true, label="Actual New Cases", color="black", linewidth=1.5)
plt.plot(y_pred, label="Predicted New Cases", color="red", linestyle="--", linewidth=1.5)
plt.title("COVID-19 New Cases Prediction (Test Set)")
plt.xlabel("Days Since Prediction Start")
plt.ylabel("New Cases")
plt.legend()
plt.grid(alpha=0.3)
plt.tight_layout()
plt.savefig("prediction_result.png", dpi=150)
plt.show()
我跑出来的可视图中最典型的一个现象是:在疫情平稳期,预测曲线和真实曲线贴合度很高,几乎重合;但在数据出现突然上升或下降的拐点时,预测会滞后1到2天。这个现象背后有明确的原因——LSTM本质上学的是历史模式的延续,对于训练集中从未出现过的剧烈模式切换,模型缺乏外推能力。就好比你让一个只看过春夏秋天气的人预测冬天会冷到什么程度,他能判断“会降温”,但要精确到具体数值就很难了。同理,疫情拐点往往由突变因素(如新型变异毒株、大规模活动)引发,这些信息根本不存在于输入序列中,模型当然无法预知。
这个观察给了我一个重要的项目改进思路:单纯把过去的感染人数喂给模型,信息维度太单一了。如果能把疫苗接种率、人员流动指数、当地管控政策强度等级、病毒检测量等因子作为额外特征输入模型,预测在拐点处的表现大概率会大幅提升。这就是所谓的多变量时间序列预测,也是这个项目后续迭代的明确方向。
5. 常见问题与排查技巧实录
5.1 训练不收敛
模型训练了50轮,损失值还在原地踏步或者忽高忽低地跳来跳去,这是入门阶段最容易碰到也最打击信心的问题。根据我自己的排错经验,按以下顺序排查大概率能找到问题所在:
- 检查数据是否归一化。如果原始数据范围过大(比如从个位数到几万),梯度会剧烈震荡,模型很难学到稳定的模式。这是最常见的原因,解决方案就是用MinMaxScaler或StandardScaler做归一化。
- 降低学习率。ADAM默认的0.001对大多数情况有效,但对某些数据分布来说偏大,尝试调成0.0001或0.0003往往能解决震荡。
- 检查数据中是否有NaN或无穷值。模型看到NaN梯度就会变成NaN,这个我踩过一次,最后逐行打印输入数据才找到罪魁祸首。
5.2 预测结果全是一条直线
损失值降得很低,但画出来的预测曲线平得像条直线,真实曲线有波浪起伏,预测曲线却是均值线附近的一条横线。这个问题通常由两个原因导致,一个是模型容量不够,另一个是窗口信息不足。
模型容量不够时,可以适当增大隐藏层神经元数量,从64提高到128试试。窗口信息不足的情况下,把时间窗口从7天改成14天或21天通常能显著改善——窗口太小模型只看得到最近几天的数据,而疫情传播有明显的潜伏周期效应,趋势信息在前面几天的变化里才能体现出来。
还有一种可能,就是归一化的时候数据里包含大量连续的零点(比如疫情初期还没有病例的时段占了数据集的很大比例),模型为了最小化损失就学会了“预测一个接近0的小数”这种偷懒策略。这种情况建议把前期全是零的数据段直接截掉,从第一个非零值开始往后训练。
5.3 训练集效果远好于测试集
训练集上的损失已经降到了极低水平,测试集上一跑误差却大得离谱,这是典型的过拟合特征——模型把训练数据的细节特征背下来了,但没有学出普适规律。疫情数据本身样本量不大,这个问题几乎必然会发生。
应对手段我实际用过且有效的方法有:一是增大训练数据量,把其他国家或地区的数据一起纳入训练,让模型见更多样化的传播模式;二是加入Dropout层,在训练时随机让一部分神经元失活,迫使模型不能过度依赖某一个特征通道。第三点可能很多人都想不到,就是调低LSTM的隐藏层大小或层数,模型参数少了,过拟合空间自然就缩小了。
5.4 常见问题速查表
我把项目过程中遇到的所有问题和排查方向整理成表格,方便读者对照排查:
| 问题现象 | 可能原因 | 排查与解决办法 |
|---|---|---|
| 损失不下降或震荡 | 学习率过大、数据未归一化 | 降低学习率至0.0001;检查归一化是否作用于全特征 |
| 预测结果是一条近似直线 | 模型容量不足、窗口过小 | 增加hidden_size;将input_window从7天改成14天 |
| 训练集好测试集差 | 过拟合 | 加入Dropout;减少模型参数量;增加数据来源 |
| 梯度出现NaN | 数据含NaN或无穷大 | 用np.isnan(data).any()检查数据;填充或删除异常值 |
| 预测值全是负数 | 数据中有负值参与训练 | 检查差分后是否有负数(量纲修正导致),统一置0或截断 |
| CPU训练过慢 | 模型参数过多 | 减少num_layers为1;减小hidden_size再逐步调大 |
5.5 环境配置避坑记录
热词列表里能看到“Windows系统装深度学习环境”“环境配置”“torch安装”这些高频搜索词,说明环境搭建确实是入门的第一道坎。这里我把这次项目的环境安装过程完整记录下来,省得后来者在大大小小的坑上浪费时间。
我的环境是Windows 11系统、NVIDIA RTX 4060笔记本GPU。首先要装Anaconda,用conda建一个独立环境,避免把系统Python环境搞乱。然后在该环境内安装CUDA版PyTorch,在PyTorch官网的安装向导页面选择合适的命令即可,一般用pip直接装即可。安装完毕后验证是否成功的关键一步是:
python复制import torch
print(torch.__version__)
print(torch.cuda.is_available())
如果输出是 True,那环境就绪了。这个步骤极有必要,因为在深度学习入门圈里,环境和版本是一大坑。版本匹配错位时,最常见的报错是“找不到指定的模块”之类的CUDA DLL错误,这类问题通常表现为安装时看起来一切正常、一跑程序就报错。真的碰到了,不要重装CUDA,优先建议仔细核对PyTorch版本、Python版本和显卡驱动三者之间的兼容关系,去官网版本对照表查一下再装。
另外,热词里还提到了CPU版本和GPU版本的区别,这里也澄清一下:小数据集用CPU版本完全足够。如果你没有NVIDIA显卡,就直接去官网安装CPU版本的PyTorch,不需要任何CUDA配置。等以后项目复杂度上来了再升级GPU版本的难度也不大。
6. 项目扩展方向与我的踩坑心得
6.1 如何把项目做得更进一步
这次“新冠感染人数预测”项目跑通后,我的体会是:单变量时序预测确实是一个很好的入门训练场,它能让你在数据量小、模型结构不复杂的情况下把流程完整走通。但从中长期来看,如果想要更进一步的提升,可以从以下几个方向延伸:
- 多元时间序列预测:引入更多特征,比如疫苗接种率、出行指数、检测阳性率、天气数据、医疗资源占用率等。把数据维度从一维扩到多维,模型的预测能力会有质的提升,但对应的数据处理和特征工程难度也会增加。
- 更换模型结构:如今Transformer架构已经渗透到时间序列领域,热词里也出现了“与transformer相关的架构”一词。如果你想尝试先进方法,可以用Informer、PatchTST 这类新模型做预测,比LSTM更能捕获长距离依赖。但入门阶段可以先不着急,先把LSTM理解到位再进阶。
- 引入注意力机制:在LSTM所有时间步的隐状态上做注意力加权,让模型自己在各个时间步之间分配注意力权重,这在疫情数据出现长期依赖的时候效果最好。
- 做多粒度预测:当前模型只预测未来7天,你可以同时输出未来1天、3天、7天的预测结果,让产品落地时能多角度评估。
我自己的下一步计划是尝试把滑动窗口变成可变长度,用序列到序列(Seq2Seq)的结构同时预测未来14天,并在数据中引入疫苗接种率特征,体会一下多变量输入给模型带来的变化。
6.2 我给同样入门做深度学习项目的人几句碎碎念
从零跑通这个新冠感染人数预测项目,前前后后我踩了不少坑,也总结了几条对这个领域新人的真心建议。
第一,不要一次性挑战太复杂的模型。 LSTM这个在学术界已经不算新潮的模型,对入门者来说刚好是踩在舒适区边缘的练习项目。一开始就挑战百亿参数的Transformer大模型,大概率只是把别人的代码跑通一遍,根本没机会理解底层原理。先把LSTM的门控机制吃透,把数据预处理的每一行代码读懂,再慢慢接触更复杂架构,路才会越走越稳。
第二,数据清洗花的时间要舍得。 我在这个项目里花在数据清洗和预处理上的时间,比搭模型和训练的时间加起来还多。数据科学家圈子里有句调侃——“数据科学家80%的时间都在处理数据”,经历了这个项目后我深有体会。如果你是认真的学习者,请在数据预处理阶段多花时间,不要急着把数据喂给模型。
第三,训练过程要养成观察记录的习惯。 我给自己的规定是:每一次改变参数都必须记录,训练几轮后损失降到多少、测试集误差多少、图像长什么样,全部截图或存文件。这样当成型环境跑乱或者想在多个方案里做取舍时,有据可查,不用重新再来。
第四,任何预测模型都要对结果保持审慎。 感染人数预测这类公共卫生主题,预测结果可能影响资源调配决策。我经过这个项目后最大的收获之一,是对模型预测结果的边界认知更清晰了——模型只能告诉你“基于当前历史数据,未来最可能的发展趋势”,但无法告诉你“会不会出现新的黑天鹅事件”。所以模型可以做辅助参考,但不能替代专业研判。
这个项目本身虽然是在特殊背景下产生的,但把它当作纯粹的深度学习时间序列预测入门实践来看,它的技术流程、工程方法和思考方式,完全可以平移到其他任何序列预测场景里。无论是预测商品销量、服务器流量还是城市用电量,这套从数据分析到建模评估的方法论都是通用的。这也是我推荐初学者从这个项目入手的原因——它小,但五脏俱全,做完它,你对深度学习全流程会有一个完整且自信的认知。
