蒋张琦做了几年的光伏功率预测，我最大的体会是：不管后端堆多大的模型，只要前端没有把“天气状态”这件事理清楚，预测精度就总会卡在一个瓶颈上。晴天数据训出来的模型，一遇到阴雨天气就失效；混合所有天气训练一个全局模型，又会被各种复杂气候“平均化”，晴天偏低、阴天偏高，怎么看都不对劲。
后来我在多个集中式光伏电站的功率预测项目里反复调优，找到一条很稳的技术路线：在预测之前先对历史气象和出力数据做无监督聚类，把天气拆成几类典型场景，再针对每一类场景训练专用预测模型。这套“光伏预测聚类”的方案，把之前头疼的多天气混合拟合问题，变成了若干个子问题，实测下来整体RMSE至少降了10%，部分复杂天气类型单类误差能降20%以上。
这篇文章就来完整拆解这套方案的实现细节，包括算法选型、特征处理、参数调优、预测联动，以及我在真项目里踩过的各种坑。内容适合光伏行业的数据工程师、算法工程师，也适合做新能源功率预测研究的同学参考，哪怕你是刚入门的小白，顺着我的步骤也能把整套链路搭起来。
1. 项目背景与设计思路：为什么光伏预测要先做个“聚类”
1.1 光伏预测的核心难点在哪
光伏输出功率本质上是气象条件的函数。辐照度是主变量，温度、湿度、风速、云量都会直接影响出力曲线。问题是气象数据不是平滑变化的，尤其在丘陵、山地等微气象复杂的区域，天气可能在一小时内从碧空如洗切换到云层密布。
这给预测模型带来的麻烦很大。时间序列模型也好，机器学习模型也好，它们都默认训练集和预测集的输入分布是一致的。但光伏场景偏偏不是这样——不同天气类型下的辐照度分布差异极大，如果把一年365天的数据混在一起训练，模型学到的权重必然是多种天气类型妥协后的结果。
我见过不少团队直接用一整年历史数据训练一个全局神经网络模型，不管晴天阴天都用同一套参数去预测。这种做法的典型症状就是：整体误差看起来还能接受，一拆到具体天气下面看，晴天时段辐照度高的日子系统性地低估，阴天层云覆盖严重时又系统性地高估。问题不在于模型容量不够，而在于你让一个模型同时去描述几个特征差异非常大的数据分布，它只能拟合出一个“中庸解”。
1.2 聚类在这条链路里的真实角色
先看清整个预测链路，很多刚接触这个方向的人容易把聚类和预测算法的主次关系搞反。聚类本身不直接输出功率预测值，它是预测前端的“环境感知模块”，负责把连续的气象状态离散化为若干个有限类别。后端再做两件事：一是针对每个天气类别训练专门的预测模型，二是在预测阶段先判断“明天大致属于哪个天气状态”，再调用对应模型。
举一个我实际做过的电站案例。那个项目是贵州某山地光伏电站，天气变化非常快，最初用全局LSTM模型预测次日96点功率，整体RMSE约在0.13，看着还行。后来把历史气象日样本做聚类分型，拆成四种典型状态后才发现，阴雨天和强对流天气样本的RMSE飙到0.21以上，几乎所有的误差都集中在这两类“难样本”里。引入聚类分型并构建分区模型后，阴雨天的误差降到了0.16，强对流样本也有明显改善。
这套方案的本质，就是不让复杂天气数据去“污染”稳定天气模型的学习过程。预测模型不再需要一套参数同时适应晴空和雷暴，而是分而治之。每类模型只专注学习属于自己的那部分规律，预测自然更稳更准。后面所有的基础准备、特征筛选、代码实现，都是围绕这一个大逻辑展开的。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 算法选型解析：同一份数据，几种聚类玩法差异在哪
2.1 K-means：光伏场景最常用的主力
K-means可以说是光伏预测聚类中最常用的算法，没有之一。它的核心逻辑很简单：你把样本点一个个放到特征空间里，算法通过迭代方式找到K个中心点，让每个样本到所属中心点的距离平方和最小。
为什么它在光伏场景这么受欢迎？一个重要原因是气象特征在数值空间里通常是连续、稠密的，比如辐照度、温度、湿度这些量，不存在特别离谱的离群点，也不存在过于复杂的流形结构，K-means假设的“球形簇”在大部分情况下是近似成立的。
我实际用下来，K-means的优势在于：计算快，几万条日样本几秒钟就能收敛；实现成熟，scikit-learn直接调用；可解释性强，聚类后的每个簇中心可以直接解读为一种典型的天气状态。
缺点也很明显。K值需要事先指定或者通过肘部法等辅助判断，这点对新手不太友好。而且K-means对初始中心点敏感，不同随机种子可能收敛到不同的局部最优解。好在现在的KMeans实现默认使用KMeans++初始化，已经大幅缓解了这个问题。还有一个不容忽视的坑，就是K-means对异常值敏感，如果气象数据里混入传感器故障产生的毛刺值，聚类中心会被拉偏，所以数据清洗必须做到前面。
2.2 层次聚类：能画树状图，适合确定类型数量
层次聚类在做光伏预测聚类时，我通常不拿它直接当最终模型用，而是用来辅助决策。它的做法是自底向上或者自顶向下地不断合并或分裂簇，最终形成一个树状结构。这个树状图可以非常直观地展示样本之间的层次关系。
层次聚类的最大优势是：不需要预先指定类别数。你只要看树状图，找到层次跳跃最大的那一刀切下去，就能大概知道数据天然分为几类。我在做天气聚类的时候，习惯先用层次聚类做一个预分析，比如拿几百天的特征跑一遍，画出树状图辅助确定K的取值范围。
缺点是计算复杂度高，传统实现是O(n²log n)甚至更高，几万条样本跑起来会很吃力。另外它对噪声和异常值也很敏感，而且一旦一层的合并决策出现问题，后续就没法修正了。如果只是几千条日样本，层次聚类完全跑得动；数据量到几十万条的时候，就老老实实用K-means吧。
2.3 DBSCAN：对付异常天气样本的利器
DBSCAN是基于密度的聚类算法，它不关心样本到中心的距离，而是通过两个参数（eps邻域半径和min_samples最小样本数）来定义密度可达关系，把高密度区域连成簇，把低密度区域的点标记为噪声点。
在光伏场景里，DBSCAN的价值主要体现在特殊情况的处理上。比方说强对流天气、台风路径边缘、临时性沙尘覆盖这种极端样本，它们不属于任何一个“典型天气”，数量少、形态怪。如果用K-means硬分，这批样本会被强行塞进某个簇里，反而把这个簇的中心拉偏了。用DBSCAN跑一遍，它们可以被识别为噪声点，直接从训练集里剔除，保证后面建模数据的纯净度。
DBSCAN的问题是调参有门槛。eps选大了，所有点都融成一团；选小了，一堆点被标成噪声。而且不同特征的尺度差异会直接影响密度定义的效果，必须先做标准化。我的做法是先跑K近邻距离统计来辅助确定eps的合理范围，再用GridSearch找合适的参数组合。不过有一说一，在典型天气聚类这个任务上，我最终还是会更依赖K-means的结果，因为后端的每一个类别对应一套预测模型，我们需要每个样本都能归属到某个类别，DBSCAN的噪声标记需要单独处理，实操成本更高。DBSCAN更多适合做数据预处理环节的异常清洗。
2.4 两步聚类：适合追求流程完备度的团队
两步聚类（TwoStep）在SPSS里很常见，现在很多Python包也有对应实现。它做的第一件事是利用BIRCH算法对样本进行预聚类，形成若干子簇；第二步在子簇基础上用层次聚类做正式聚类，同时利用BIC或AIC指标自动确定最优类别数。
这个方法的好处是对小白极度友好，因为它可以全自动给出推荐的簇数量，不用你自己去掐肘部图。我在给一些电站做方案汇报时也会用它，因为输出结果非常规范，自带聚类质量评价，好跟非技术背景的运维负责人解释。
缺点在于，两步聚类在第一步的抽样过程会丢失一部分细粒度信息，如果样本量不大，聚类稳定性反而没K-means好。在光伏场景里，我更多会把它和K-means结果做交叉验证——两种算法如果给出的天气分型高度一致，说明聚类结构非常稳定，可以放心接入后续预测。
2.5 算法到底怎么选：我的个人判断标准
直接说我的选择逻辑，方便你套用。如果你手里是日级别的历史样本，数量从几百到几万条，想要简单可解释的天气分型方案，首选K-means。如果你不确定分几类合适，先跑一遍层次聚类画树状图辅助判断。如果你发现数据里经常有时间较短的异常气象片段，并且强对流天气样本干扰明显，先用DBSCAN做一遍预清洗。如果要给非技术管理者汇报，或者想自动确定类别数，顺手跑一遍两步聚类做交叉验证也可以。最后再强调一点，没有万能算法，选择的关键依据是“数据长什么样”和“聚类结果用来干什么”，不是谁的论文引用量更多。
3. 核心实操过程：Python实现光伏天气聚类与预测联动
3.1 数据准备与特征工程：这一步决定成败
项目里我常遇到一种误区，一上来就把功率数据丢进聚类算法，指望它能自动分出不靠谱的天气状态。功率数据本身是模型输出，它跟天气是强相关的，但直接用功率聚类，本质上是在用结果导向反推原因，得到的分型往往不好解释。更好的做法是围绕“气象条件”来做特征工程，让聚类结果天然对应到可理解的天气状态。
我采用的特征主要分成三类。第一类是无辐照度累计量，比如把每天的辐照度曲线按小时积分，得到日累计辐照度，这个量直接区分晴天和阴天。第二类是波动特征，比如计算辐照度每分钟变化率的标准差、平均绝对变化率、日最大变化幅度。为什么要加波动特征？因为在山地电站场景下，晴天和晴间多云的累计辐照度可能接近，但波动特性完全不同——晴间多云的出力曲线会有明显锯齿状波动，累积分不出来，但波动性一看就懂。第三类是环境补充量，包括日平均温度、最高温度、平均湿度、平均风速。
聚合到日维度后，特征拼接成一个多维向量：
python复制import pandas as pd
import numpy as np
def build_daily_features(df):
# df须包含列: time, ghi(temporarily irradiance W/m2), temp, humidity, wind_speed
df['date'] = pd.to_datetime(df['time']).dt.date
daily = df.groupby('date').agg(
ghi_sum=('ghi', 'sum'),
temp_mean=('temp', 'mean'),
temp_max=('temp', 'max'),
hum_mean=('humidity', 'mean'),
wind_mean=('wind_speed', 'mean')
)
# 波动特征
df['ghi_diff'] = df.groupby('date')['ghi'].diff().abs()
daily['ghi_diff_mean'] = df.groupby('date')['ghi_diff'].mean()
daily['ghi_diff_std'] = df.groupby('date')['ghi_diff'].std()
return daily.dropna()
特征的尺度差异很大。辐照度累计可能到几万，湿度是几十，风速只有个位数。如果不对特征做标准化，聚类时欧氏距离会被量纲大的特征主导，湿度、风速这些变量等于直接“失明”。所以必须先做StandardScaler或MinMaxScaler。
python复制from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(features)
这一步看起来简单，但实际上影响巨大。我用同一份数据做过对照实验，不标准化时K-means聚出的三类基本全被辐照度累计值主导，温度湿度特征的分辨力完全丢失；标准化之后再聚类，类别间在波动特征、温度特征上都有了清晰的区分度。
3.2 用肘部法和轮廓系数确定K值
拿到标准化后的特征矩阵，下一步就是确定聚类数K。我见过有人固定K=4就开跑，理由是没有理由、习惯。这种取法十次里有八次不会得到最优结果，因为不同地区的天气结构完全不同。
我在实践中会综合用两个指标辅助判断K值。一个是肘部法，分别计算K从2到9时的簇内误差平方和（SSE），画出折线图，找拐点。另一个是轮廓系数，取值在-1到1之间，越接近1说明样本与自身簇匹配度高，与其他簇差异大。
python复制from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt
sse = []
sil_scores = []
k_range = range(2, 10)
for k in k_range:
km = KMeans(n_clusters=k, random_state=42, n_init=10)
labels = km.fit_predict(X_scaled)
sse.append(km.inertia_)
sil_scores.append(silhouette_score(X_scaled, labels))
# 观察sse曲线拐点和silhouette峰值
对于大部分光伏电站，K取3到5是相对合理的范围。少于3类很难把复杂天气拆开，大于5类又容易产生样本量过小的簇，导致后续训练预测模型时数据不足。当然也有例外，如果原始数据本身地处气象过渡带，各类天气差异更细微，可能会需要更多类别才能把区分度拉起来。核心原则还是那条——聚类结果必须服务下游预测模型，如果一个类别的样本量连一个月都没有，那这个类别大概率没有意义。
3.3 K-means聚类模型训练与结果解读
K值确定之后，就可以训练最终模型。我一般会在同一个K值下跑多个随机种子，选择inertia最小且轮廓系数最稳定的那组结果，避免随机性带来的偶然偏差。
python复制best_km = None
best_inertia = float('inf')
for seed in range(20):
km = KMeans(n_clusters=4, random_state=seed, n_init=10)
km.fit(X_scaled)
if km.inertia_ < best_inertia:
best_inertia = km.inertia_
best_km = km
labels = best_km.labels_
训练完之后，一定不要只留着模型文件就跑。建议把每个簇的中心还原回原始特征空间来看一下，也就是用scaler.inverse_transform把中心点转回原始量纲，然后人工解读每一个簇到底对应什么天气。
比如某个簇的中心点特征是：日累计辐照度高、温度高、辐照波动小、湿度低；另一个簇是累计辐照度中等、波动标准差很大、湿度偏高。前者对应稳定晴天，后者对应晴间多云，这种解读就可以直接拿给运维人员确认是否符合实际观感。如果某个簇的中心特征模糊，几种天气混合在一起，就需要回头检查特征维度是否不够，或者K值选得是否偏小。
为了方便后续预测阶段使用，我会把聚类结果打的标签合并回原始数据集，这样每个时间点都知道自己属于哪种天气状态：
python复制feature_df['cluster'] = labels
train_data = train_data.merge(
feature_df[['cluster']],
left_on='date', right_index=True, how='left'
)
3.4 DBSCAN做异常天气剔除的实操补充
刚才说了K-means在正式分型上是主力，但异常样本的剔除我会在前面加一道DBSCAN。这个方法对强对流、风机台风边沿、极端沙尘天的零碎样本非常有效。
实操时先对特征做标准化，然后选择一个合适的eps。我的经验是画K近邻距离曲线，也就是计算每个样本到其第k个近邻的距离，然后按照距离排序画折线，曲线上出现明显“拐点”的位置对应的距离就可以当作eps的候选值。
python复制from sklearn.neighbors import NearestNeighbors
from sklearn.cluster import DBSCAN
nn = NearestNeighbors(n_neighbors=5)
nn.fit(X_scaled)
distances, indices = nn.kneighbors(X_scaled)
k_dist = np.sort(distances[:, -1])
# 找到拐点附近的距离值作为eps参考
eps_candidate = np.percentile(k_dist, 95)
db = DBSCAN(eps=eps_candidate, min_samples=10)
db_labels = db.fit_predict(X_scaled)
# label为-1的样本视为异常天气，不参与后续K-means聚类
clean_mask = db_labels != -1
X_clean = X_scaled[clean_mask]
需要澄清一个细节，DBSCAN在这里不是替代K-means做最终分型，而是纯粹做“清洁工”。经过DBSCAN剔除的异常样本，我会单独放在一个“极端天气”档案里，并不直接删掉。在后续做预测时，极端天气样本通常也不是用来训练的，但可以用一个专门的兜底策略来应对，比让强对流样本去干扰所有其他类型的模型要靠谱得多。
3.5 聚类结果接入预测模型的实际做法
等天气类型划分完毕，后面的预测链路就顺理成章了。我经常采用的一种做法是“全局分类器 + 分型预测器”的双层结构。在预测时刻，首先用一部分特征（比如数值天气预报提供的辐照度累计、云量、温度等）判断未来一天会落入哪个天气簇，然后调用对应的功率预测模型进行预测。
实际操作中，判断“未来属于哪个簇”可以有两种方式。简单的方式是把历史各簇的簇中心存下来，在预测时段拿出数值天气预报预报的气象特征，做同样的标准化，然后计算它到各个簇中心的欧氏距离，距离最近的簇就是预测标签。另一种方式是把聚类标签当作分类任务的目标值，训练一个分类器来预测当前样本属于哪个簇，比如用随机森林或LightGBM。
第一种方式轻量，不引入额外模型复杂度，而且本质跟K-means原理一致，解释起来非常顺滑。第二种方式的好处是分类器可以自动学到各簇之间更复杂的边界，但需要额外做特征选择、模型评估，运维成本高一些。
后端的分型预测模型可以根据数据量选择。当日志数据充足时，每个簇单独训练一个LightGBM或LSTM都可以。如果个别簇样本量偏少，可以退一步，只针对主模型预测偏差大的簇做专用修正模型，其他簇沿用全局模型。这种策略在工程上更稳妥。
4. 常见问题与排查技巧实录
4.1 K值怎么选都感觉不对，怎么办
这是我被问得最多的问题。很多人把肘部法跑出来，发现SSE曲线没有明显的肘部，或者轮廓系数在几个K值下差别很小，于是陷入焦虑。这种情况其实很常见，尤其在天气变化平缓的地区，天气状态之间是连续过渡的，没有绝对清晰的类别边界。
我的建议是不要只靠数学指标，回归到业务。先去统计候选K值下每个簇的样本量，如果某个K值导致某个簇只有十几天的样本，预测模型根本没法训练，这个K值不管指标多好，都不能用。然后去看每个簇中心对应的特征值是否在物理上可解释，如果你看不出来某个簇代表什么天气，那这个簇就缺乏落地价值，说明K值偏大了。
还有一个很实用的检验办法：把聚类结果的可视化图拿给电站运维人员看，让他们从实际经验判断分类是否合理。光伏电站的运维人员对天气的敏感度通常超过算法工程师的想象，我经常靠他们的一句话推翻初版聚类方案，事后证明他们是对的。
4.2 为什么聚类结果每次跑都不稳定
K-means本身有随机性，如果你没设置相同的random_state，每次跑出来的聚类结果可能都有细微差异。你可以固定随机种子，或者像我前面建议的那样，多跑几个随机种子，再选最优且最稳定的那一组。
另一个隐藏的原因是样本顺序和特征缩放。K-means在某些实现中受样本遍历顺序影响，但这种影响通常很小。更大的隐患是数据更新后没有对标准化参数做同步更新，比如你原来用1月到9月的数据做聚类，后面加入了10月的样本重新跑，如果直接用之前StandardScaler的均值和方差，而新样本的数值范围差异很大，标准化后的特征分布就会漂移，聚类结果自然也不稳定。正确的做法是每次更新聚类模型时，用更新后的样本整体重新拟合scaler，再跑聚类。
最后要警惕的是特征冗余。如果特征之间强相关，比如同时放了累计辐照度和平均辐照度，相当于把某个维度重复加权了。K-means对特征权重很敏感，强相关的特征会无意中放大某个方向的距离。建议在做聚类前先看一眼相关性矩阵，必要时用PCA降维或者去掉冗余特征。
4.3 聚类明明分开了，预测精度反而不升反降
这个问题我看了不少团队踩坑之后才总结出原因，多半出在样本量上。你把一个训练集按天气分成5类之后，每一个子模型能拿到的训练数据量只有原来的五分之一。如果原样本量本身就不够大，比如只有半年的数据，每个子模型的数据量就非常紧张了。模型过拟合的速度会加快，泛化能力反而下降。
应对策略很简单。如果单个天气簇的样本太少，就不要拆得那么细，降低K值合并相近的簇。或者不训练完全独立的子模型，而是改成“全局模型 + 气象簇修正残差”的思路。先用全局模型预测出一个基础值，再针对每个簇训练一个小模型去预测全局模型的残差值，最终结果等于基础值加修正值。这样每个簇的小模型只用拟合局部偏差，对数据量的需求大幅降低。
4.4 预测阶段的新样本怎么归类
有人在训练阶段聚类聚得欢，到了预测阶段却不知道新一天的样本该归到哪个簇。这个问题如果没解决，整套方案就是纸上谈兵。方法前面提过，最直接的做法是你把训练好的KMeans模型和StandardScaler都保存下来，预测时先对新样本做同样的标准化，然后使用km.predict。
python复制import joblib
joblib.dump(scaler, 'scaler.pkl')
joblib.dump(best_km, 'kmeans_model.pkl')
# 预测阶段加载
scaler = joblib.load('scaler.pkl')
km = joblib.load('kmeans_model.pkl')
new_feature = scaler.transform(prediction_input)
cluster_id = km.predict(new_feature)[0]
这里有个关键点，聚类模型不能一直不更新。光伏电站运行时间长了，组件衰减、灰尘累积、植被遮挡变化，都会让气象与发电的映射关系发生缓慢漂移。原来聚类分型的效果会逐渐退化。我的习惯是每个月做一次聚类模型的增量重训，用近12个月的数据跑分型，再结合人工判断确认新的分类结果是否合理。这不是一个“训完就忘”的模型，是需要跟电站状态一起活着维护的。
4.5 当日天气极端突变，预测还是崩了怎么办
先承认一个现实，聚类分型方案再怎么优化，也解决不了所有极端天气。我遇到过有强对流云团在半小时内覆盖整个电站、辐照度断崖式下跌的情况。这种事件本身的物理变化速率超过了数据采样密度能表达的范围，任何基于历史统计的模型都很难精准命中。
这部分的兜底方案不在聚类里，而在预测系统的整体设计。我的做法是对预测结果加入一个实时修正层：如果检测到实时辐照度偏离预测辐照度超过一定阈值，就用实时辐照度数据驱动一个简化物理模型去重新推算功率输出。同时将极端天气的样本继续积累，等样本量足够之后再单独训练一个“强对流应急”预测模型。聚类的价值是让常规天气下的预测精度达到较高水位，让稀缺的运维精力只关注真正的异常，而不是天天扑火。
5. 一些补充的实操心得
项目做多了之后，我对聚类在光伏预测中的定位理解越来越清楚。它不是一个炫技环节，而是一个“让模型活得更有结构感”的工具。K-means这种看似简单的算法，在新能源场景里仍然有不可替代的实用空间，关键在于你用不用得对、用不用得稳。
最后分享一个小技巧。如果你做的电站覆盖范围特别大，比如上百兆瓦的平单轴跟踪电站，不同区域的组件朝向和安装倾角不一样，出力特征会有差异。这时候不要只做一次全局天气聚类，可以先把电站按区域分组，每组单独做一次天气聚类，你会发现不同区域的“天气类型定义”差别很大——靠近山脚的区域多雾，空旷区域多风，这种差异直接反映在聚类中心和预测精度上。分区分型之后再各自建模，效果往往比全局一刀切好得多。
光伏预测是一门需要跟环境和数据持续博弈的工程学科，不存在一次训练终身受用。聚类的引入只是帮你把问题拆出层次，后续的模型更新、数据治理、阈值调优一样都不能少。希望这篇记录能帮你少走些弯路，也欢迎在实际项目中验证这些方法后，再摸索出适合你电站场景的专属方案。