基于秃鹰搜索优化XGBoost的多变量时间序列预测

做多变量时间序列预测的朋友，应该都经历过这种纠结：数据明明很丰富，模型却总是欠拟合或者过拟合，调参调到怀疑人生。我之前在Matlab里做风电功率预测时，用过XGBoost，效果不错，但超参数实在太多，手工试错效率太低。后来把秃鹰搜索优化算法（BES）引入进来，用BES自动寻优XGBoost的核心超参数，再用K折交叉验证作为适应度评估，总算把验证集和测试集的误差差距压了下去。这篇就把整套思路和踩坑过程记录下来，给同样在做多变量时间序列预测、正在琢磨怎么抑制过拟合的朋友一个参考。

这个“BES-XGBoost多变量时间序列预测”项目，说白了就是解决两件事：一是用XGBoost对多变量时间序列做回归预测，二是用秃鹰搜索优化算法替代人工试参，同时用交叉验证防止模型只在训练集上自嗨。它适合那些已经有时间序列数据、但不满足于传统ARIMA，也不想一上来就堆深度学习模型的人。如果你熟悉Matlab，想在不写Python代码的前提下把集成学习和群智能优化结合起来，这篇内容可以直接照着复现。

1. 整体设计思路与方案选型

1.1 多变量时间序列预测的核心痛点

单变量时间序列只依赖自身历史，可用的信息有限；多变量时间序列虽然加入了多个相关变量，却给建模带来了新的麻烦。比如预测某一时刻的电力负荷，可能会用到气温、湿度、风速、节假日标记、历史负荷等好几个维度的数据。这些变量之间往往存在复杂的非线性关系，单纯用线性模型很难捕捉。

XGBoost这类树模型可以处理非线性关系，一个很大的优势是不需要对特征做太多归一化处理，天生能处理缺失值，还能输出特征重要性。但在时间序列场景里，它需要我们自己把时序数据构造成监督学习样本。等样本构造完，超参数又成了新问题。学习率、树深度、叶子节点最小样本数、子采样率、列采样率、正则化系数，随便一个设置不合适，模型的表现就会差很多。

手工调参效率太低，网格搜索又容易撞上维度爆炸。我一开始用网格搜索调XGBoost，参数取几个档位，组合起来上百次实验。每次训练都要跑交叉验证，一跑就是几小时。后来换成群智能优化算法，让算法自己去搜索超参数空间，才把这件事从体力活变成自动化。

1.2 秃鹰搜索优化算法的核心机制

秃鹰搜索优化算法（Bald Eagle Search，BES）是近年提出的一种群智能优化算法，模拟秃鹰在捕食过程中的三个行为阶段：选择搜索空间、在搜索空间内搜索、俯冲捕获猎物。

第一阶段的选择搜索空间，相当于在整个解空间中划出一个可能包含最优解的区域。第二阶段是局部搜索阶段，秃鹰会在当前选定的区域内沿着螺旋轨迹飞行，一边飞行一边评估猎物的位置。第三阶段是俯冲捕获阶段，已经从螺旋搜索转向朝确定的最优位置快速俯冲，类似于算法在局部最优附近进行精细搜索。

从算法结构上看，BES使用螺旋方程更新位置，这比粒子群算法中单纯的“当前位置 + 速度”更新方式多了更多探索性。和遗传算法相比，它没有交叉和变异操作，参数更少，实现起来也简单。我实际跑下来，BES在中等规模超参数空间上的收敛速度确实比遗传算法快一些，尤其是处理连续参数时，不需要额外编码解码。

1.3 为什么选择XGBoost作为预测器

XGBoost本质上是一个梯度提升树模型，通过不断训练新的CART树来拟合上一轮的残差，并对树的复杂度做正则化惩罚。它的目标函数包含损失函数和正则项两部分，这本身就具备一定的抗过拟合能力。

在多变量时间序列预测中，我们可以把过去若干个时间步的多个变量展平，作为树的输入特征。树模型不需要像LSTM那样严格保持时间维度的结构，而是把时间依赖关系隐藏在特征中。这样做的优点是训练速度快、模型相对容易解释，缺点是如果特征构造不合理，可能丢掉时间顺序性。所以我通常用滑动窗口构造特征，比如用过去10个时间步的全部变量预测未来1步的目标值。

XGBoost在中小规模数据和表格型特征上的表现非常稳定，这也是我选择它的核心原因。相比随机森林，梯度提升树的泛化能力通常更好；相比神经网络，它需要的调参量更少、对数据量的要求也更低。如果数据量达到百万级，可能深度模型会更合适，但在大多数工程场景中，XGBoost已经足够好用。

1.4 交叉验证如何抑制过拟合

过拟合的本质是模型在训练集上记住太多噪声，导致测试集表现变差。在超参数优化过程中，如果只拿一个固定的验证集来评估参数好坏，非常容易选出恰好在这个验证集上表现好、换一批数据就崩掉的参数。

交叉验证通过把训练数据切成多份，轮流用其中一部分做验证、其余做训练，最后把多次验证误差取平均。这样每个样本都有机会被当作验证数据，最终评分对数据划分的敏感度更低。把交叉验证的评分作为BES算法的适应度值，可以让优化过程直接面向泛化性能，而不是单个验证集性能。

我在这个项目中用的是K折交叉验证，K通常设为5或10。K越小，训练样本越少，评估偏差越大；K越大，评估越稳，但计算成本成倍增加。针对时间序列数据，还要特别注意折与折之间的时间顺序，不能随机打乱，否则会引入未来信息，造成一种“假的高分”。

2. 数据准备与特征工程实操

2.1 多变量时间序列数据怎么组织

在Matlab里，多变量时间序列一般是一个NumSamples行、NumFeatures列的矩阵，每一行是同一个时间点的观测，每一列是一个变量。例如我有一个1小时分辨率的负荷数据集，变量包括“负荷”、“温度”、“湿度”、“风速”、“是否节假日”，那矩阵就是N行5列。

预测目标通常是其中一个变量，或者是由多个变量计算出来的派生量。比如用过去一段时间的气象特征预测未来负荷值，目标变量是负荷列，特征列可以是负荷本身的历史值加上其他变量。这里有个容易忽略的点：如果我们把目标变量的历史值也作为特征，实际