PSO-KELM实战：粒子群算法自动优化核极限学习机参数

分类预测这行，真正的瓶颈往往不在模型结构，而在超参数怎么定。今天聊的PSO-KELM，说白了就是拿粒子群算法（PSO）自动去优化核极限学习机（KELM）的正则化系数和核参数，在不少公开数据集上能把准确率再往上抬几个点，而且不用像网格搜索那样等得人发慌。KELM本身速度极快，PSO又擅长在连续空间里找全局最优，这两者组合起来特别适合那些“数据量中等、特征维数不低、又需要快速迭代模型”的场景。想入门智能优化算法和分类模型融合的同学，这篇文章应该能帮你少走很多弯路。

我自己最开始接触KELM的时候，第一反应是“这不就是ELM套了个核技巧么”，后来跑了几个实验才发现，参数一乱设，效果比普通SVM还差。后来把PSO接进去自动寻优，才算把这套东西的潜力逼出来。这篇博客就把我踩过的坑、验证过的流程、代码结构和调参心得全部摊开讲。

1. 先搞清楚两个主角：PSO和KELM

1.1 从ELM到KELM：核映射解决随机性

极限学习机（ELM）是黄广斌教授提出的一种单隐层前馈神经网络训练方法。它最大的特点就是隐层节点的输入权重和偏置是随机生成的，不需要迭代调整，只需要用最小二乘法求解输出权重。相比BP神经网络要反复反向传播，ELM的训练速度几乎可以快两到三个数量级，而且在很多回归和分类任务上表现都不差。

但ELM有个天然毛病：随机生成的隐层映射会带来不确定性。同一个数据集跑两次，由于随机权重不同，结果可能忽高忽低。而且当隐层节点数设得很大时，矩阵求逆的计算开销也不小，还容易过拟合。KELM的思路就是把ELM中显式的随机特征映射替换成核函数隐式映射，模型不需要再关心隐层节点数是多少，只需要构造一个核矩阵。这样一来，不仅绕开随机性的问题，还提高了非线性拟合能力。

KELM的核心输出表达式是：

[
f(x) = sign\left(\sum_{i=1}^{N} \beta_i K(x, x_i)\right)
]

其中 (K(x, x_i)) 是核函数，比如最常用的RBF核：

[
K(x, x_i) = \exp(-\gamma |x - x_i|^2)
]

输出权重 (\beta) 通过下面这个正则化最小二乘解来求：

[
\beta = \left(\frac{I}{C} + \Omega \right)^{-1} T
]

这里面 (\Omega) 是N×N的核矩阵，N是训练样本数，(T) 是标签矩阵，(C) 是正则化系数。换句话说，KELM把“隐层节点数”这个参数换成了“核函数”和“正则化系数”，更干净，但依然需要人工调。

1.2 粒子群优化（PSO）到底在干什么

PSO是模拟鸟群觅食行为的群智能算法。每个粒子代表解空间里一个候选解，它有两个属性：位置和速度。粒子每次迭代会参考两个最优点更新自己：一个是它自己历史上踩过的最优点（个体最优 (pbest)），另一个是整个种群目前发现的最优点（全局最优 (gbest)）。

速度更新公式是：

[
v_i(t+1) = w v_i(t) + c_1 r_1 (pbest_i - x_i(t)) + c_2 r_2 (gbest - x_i(t))
]

位置更新公式是：

[
x_i(t+1) = x_i(t) + v_i(t+1)
]

其中 (w) 是惯性权重，控制粒子上一步速度对当前的影响；(c_1) 和 (c_2) 是学习因子，分别控制粒子向自身经验和群体经验学习的程度；(r_1)、(r_2) 是在[0,1]之间的随机数。本质上来讲，PSO是在连续多维空间里做“信息共享+随机扰动”，它的优势是不需要目标函数的梯度信息，很多黑盒优化问题都能硬啃。

1.3 为什么偏要用PSO去调KELM的参数

KELM需要调的主要参数就两个：正则化系数 (C) 和RBF核参数 (\gamma)。虽然参数少，但两者的影响是非线性的，而且互相耦合。用网格搜索的话，假设每个参数试20个值，就是400次训练；数据量稍微大一点，核矩阵求逆每次都做一遍，累计时间并不友好。随机搜索稍微快一点，但稳定性看脸。

PSO每轮只需要评估一定数量粒子的适应度，而且粒子的搜索是朝着历史最优区域靠拢的，通常几十次迭代就能收敛到不错的区间。实际体验中，粒子数设20、迭代30次左右，等于只做600次KELM训练。但和瞎试400个点不一样，PSO能根据历史结果动态调整搜索方向，大部分资源都花在“有希望的区域”里，所以搜索效率反而更高。

还有一点很关键：PSO天然适合连续参数优化，而 (C) 和 (\gamma) 本来就是连续值。用网格搜索只能取你指定的离散值，有可能最佳点在两个网格点之间，PSO则能搜到任意精度。这也是我做对比实验时，PSO-KELM经常比网格搜索KELM精度略高的原因之一。

2. 整体设