1. 为什么最小二乘扛不住坏数据:从一次状态估计崩溃说起
做过电力系统状态估计的朋友应该都有过这种经历:SCADA 送过来的量测数据明明只有一两个遥测点异常,结果整个系统的估计结果全部跑偏,甚至连拓扑错误都能给你“估计”出来。我早年在做某区域电网的在线状态估计时就被坑过一次——某变电站的功率量测因为互感器二次回路接触不良,送过来的有功值直接偏了 30%,结果最小二乘估计出来的电压幅值全线偏离真值,调度员看着潮流图上的“异常”差点把断面给切了。事后排查发现,问题根源不在数据采集,而在估计器本身——传统加权最小二乘(WLS)对坏数据几乎没有抵抗力。
这件事之后我开始系统研究鲁棒状态估计,前前后后试过很多方案,包括基于残差检测的标准化残差法、非二次准则估计器、以及基于影响函数的 M 估计器,但最终真正在工程落地中让我觉得“稳”的,是基于投影统计的 GM 估计器(广义 M 估计器)。这期内容我就把它的原理、Matlab 实现思路和调试经验完整梳理一遍,希望能给正在做鲁棒状态估计的同学一些可复用的参考。
先说结论:这个方法的本质,是用投影统计来识别量测空间中的“杠杆点”(leverage point),再结合 Huber 或 Hampel 类型的 M 估计准则,对坏数据和杠杆点同时进行抑制,从而在不牺牲正常工况下估计精度的前提下,把估计结果的崩溃概率降到最低。
需要说明的是,以下所有代码思路均基于公开文献中的经典方法实现,是我在实际项目中反复调试验证过的版本,你可以直接拿去作为自己研究的起点。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 鲁棒估计到底在鲁什么:先弄清影响函数和杠杆点这两个基本概念
2. 鲁棒估计到底在鲁什么:先弄清影响函数和杠杆点这两个基本概念
2.1 影响函数:一个坏数据能把估计结果拉偏多少
在深入投影统计之前,我觉得有必要把鲁棒统计里最核心的两个概念讲透。第一个是影响函数(Influence Function),它衡量的是在无穷小的污染下,估计量在真实值处的偏导数。通俗点说,就是在量测数据中加入一个无穷小的“脏数据”,看这个估计器的输出会被拉动多少。如果拉动幅度很大,说明这个估计器不鲁棒;如果拉动幅度很小甚至为零,说明它对污染不敏感。
传统 WLS 估计器的影响函数是无界的,这意味着哪怕只有一个量测点出了问题,它对状态估计结果的负面影响也会被无限放大。而 M 估计器通过引入一个非线性函数(通常是 Huber 或者 Hampel 函数)来限制残差对目标函数的贡献,使影响函数有界,从而在数学上保证了鲁棒性。
但 M 估计器有一个致命弱点:它只能抵御bad leverage point中的“坏”部分,对“杠杆”部分无能为力。这就是第二个概念——杠杆点。
2.2 杠杆点:为什么坏数据总是藏在“角落”里
杠杆点是回归分析中的一个经典概念,指的是在自变量空间中位置极端的量测点。在电力系统状态估计中,杠杆点通常出现在注入量测功率较大的母线附近,或者连接了多条线路的枢纽节点周边。这些点本身的残差可能很小,但小残差不代表小影响——因为它在量测空间中的位置太“偏”,一旦出现坏数据,会把整个回归平面拉向自己。
你可以这样理解:最小二乘拟合就像用一根绳子穿过所有的点来拉一根弹簧,普通点只能横向拉动绳子,而杠杆点因为位置太边缘,能改变绳子的方向。GM 估计器要解决的核心问题,就是同时给“杠杆”和“残差”加权,让位于边缘位置的坏数据不至于把拟合方向带偏。
2.3 投影统计:识别杠杆点的“雷达扫描”
投影统计是 Hampel 和 Rousseeuw 等人提出的一类高维数据深度测量方法,它在鲁棒状态估计中的应用思路是:对于每一个量测量对应的雅可比矩阵行向量(或者叫回归设计矩阵的行),计算它在所有可能方向上的投影深度,然后用这个深度来衡量该量测点是否为杠杆点。
具体的做法是:设雅可比矩阵的第 i 行为(如果考虑量测函数),计算这一行向量在多个随机方向上的投影值,再与所有行向量在相同方向上的投影值分布进行比较。如果一个量测点的投影值在多个方向上明显偏离整体分布(比如超过中位数加减若干倍绝对中位差 MAD),就可以判定它是一个潜在杠杆点。
我最早看到投影统计这个名词时也觉得它很高深,但实际用下来发现它的计算逻辑其实很朴素:通过遍历方向空间,找出那些在量测空间中“藏得很深的异常点”。相比于直接聚类或者启发式阈值,投影统计的优势是不需要预设杠杆结构,对高维量测也成立,而且能稳定区分出杠杆点和普通点。
2.4 GM 估计器的加权机制:杠杆权重乘上残差函数
有了杠杆点识别结果之后,GM 估计器的工作就变成了两步加权:
- 第一步,基于投影统计计算出每个量测点的杠杆权重(杠杆越小,权重越大);
- 第二步,对标准化残差施加 M 估计权重(残差越大,权重越小);
- 最终的目标函数是二者相乘,让坏杠杆点的总权重迅速衰减。
在数学形式上,GM 估计器可以写成型如下式的目标函数最小化问题:
同时具备有界影响函数和降杠杆作用的估计量,才算得上真正意义上的“广义 M 估计器”。这也是为什么我说,只做残差加权而不做杠杆加权的“伪鲁棒”方案,在工程上是靠不住的。
3. 算法设计与矩阵推导:把投影统计嵌入加权最小二乘迭代
3. 算法设计与矩阵推导:把投影统计嵌入加权最小二乘迭代
3.1 整体迭代方案:先把量测函数线性化,再逐轮加权
在实现层面,GM 估计器并不是一步到位的:它本质上是在加权最小二乘的迭代框架内,动态更新每个量测点的权重。具体步骤如下:
- 给定状态变量的初值(一般是平启动,电压幅值设为 1.0,相角设为 0);
- 计算量测函数、残差以及雅可比矩阵;
- 基于雅可比矩阵的行向量,用投影统计计算每个量测点的杠杆权重;
- 基于当前残差,用 Huber 或 Hampel 函数计算残差权重;
- 将杠杆权重与残差权重相乘,得到等效权重矩阵;
- 用等效权重矩阵求解加权最小二乘的正规方程(或 QR 分解),得到状态修正量;
- 更新状态变量,检查收敛条件,未收敛则返回第 2 步。
这套流程和传统 WLS 的最大区别在于第 3 步和第 5 步:每轮迭代时,杠杆权重都会根据当前雅可比矩阵重新计算。虽然投影统计的计算量不小,但一般 3~5 轮迭代后状态已经收敛,整体系数矩阵维数不大,所以实际计算负担完全可以接受。
3.2 投影统计的数值实现:从雅可比行向量到权重函数
具体到投影统计的计算,我采用的方法是:对雅可比矩阵的每一行(即每个量测点对应的灵敏度向量),先减去该行向量的中位数,再用绝对中位差 MAD 进行标准化,消除量纲影响。随后在若干随机方向(一般取 100~200 个)上计算投影值,并记录每个点在所有方向上的投影最大值或投影深度的最小值。
之所以取“最小值”,是因为杠杆点在某一方向上一定会出现投影的极端偏离;取最小值可以保证不会漏掉那些只在少数方向表现出异常的点。最终,用这个最小值构造一个介于 0 和 1 之间的权重——偏离程度越大,权重越小。
在 Matlab 中实现这一步时,可以用 randn 生成随机方向矩阵,然后利用矩阵乘法并行计算所有行向量的投影值,避免逐行 for 循环,能大幅度提高计算速度。
