前几天一个朋友扔给我一份表格数据,二分类,几百条样本,特征里既有连续数值也有类别变量。我一开始手痒,直接掏出神经网络想硬刚,结果训练没几个 epoch 就过拟合得没眼看,验证集准确率跟抛硬币差不多。后来我老老实实把 SVM,也就是支持向量机,重新捡起来,才发现这个“老古董”在小样本场景下有多能打。更没想到的是,折腾的过程里我还顺手整出了两个自己的“新算法”——准确说是两个针对 SVM 的魔改方案,一个治类别不平衡,一个治特征尺度不统一。今天就把这段整活实录完整写出来,包括思路、代码、翻车现场和最终结果,希望能给同样在小数据上折腾分类问题的朋友一点参考。
1. 为什么我现在还会捡起 SVM:小样本、核技巧和一颗不折腾不舒服的心
1.1 SVM 到底在找一个什么样的边界
很多人第一次接触 SVM 的时候,听到的解释都是“找一个最大间隔超平面”。这个说法没错,但容易让人忽略它真正厉害的地方。
想象二维平面上有两堆点,你要画一条线把它们分开。随便画一条能分开的线并不难,难的是这条线对未来新样本的容忍度。SVM 的思路不是“能分开就行”,而是让这条线离两边最近的点都尽量远,这个距离叫间隔(margin)。离这条线最近的那些点,就是支持向量。整个模型的决策边界其实只由这几个点决定,其他点离得再远也不影响结果,这就是 SVM 在小样本下不容易被“无关样本带偏”的核心原因。
当数据线性不可分的时候,SVM 会通过核函数把样本映射到高维空间,在高维空间里寻找线性边界。这个过程不需要真的算出映射后的坐标,只需要计算样本两两之间的内积,也就是核函数值。比如 RBF 核:
k(x, z) = exp(-γ ||x - z||²)
它的本质是在说:两个样本越接近,相似度越高。通过调整 γ,相当于控制这个相似度随距离衰减的快慢。这个设计让 SVM 能刻画非常复杂的非线性边界,同时仍然保留着支持向量带来的稀疏性。这两点加在一起,使得 SVM 在数据量不大、特征维度中等的情况下,往往比深度学习更实用。
1.2 我为什么不直接上神经网络
这次任务的数据量只有两三百条,神经网络在这种规模下几乎是“灾难现场”。深度模型动辄几十万上百万参数,喂这么点数据,哪怕是加了 Dropout 和正则化,也很容易把训练集的特征背下来,而不是学到真正的规律。反观 SVM,它的复杂度主要由支持向量数量决定,而不是特征维度,在高维小样本场景下有天然的泛化优势。
另外一个现实问题是训练成本。神经网络需要调学习率、调 batch size、调网络层数,还可能要在 GPU 上跑半天;SVM 的 SMO 算法在几千样本内基本是秒级完成,参数也就 C 和 γ 这些,网格搜索一下就能出结果。我这次的数据根本用不上 GPU,一个 CPU 脚本几十毫秒完事,这对快速验证想法来说太重要了。
1.3 我要处理的三个典型场景
为了把这次“整活”做得像样一点,我没有直接拿朋友的数据开测,而是先构造了三个典型的二分类场景,分别对应现实中最常遇到的问题:
- 场景 A:类别不平衡。负类样本 500 个,正类样本只有 50 个,两类中心距离比较近。
- 场景 B:多尺度分布。同一个类别内部存在密集区域和稀疏区域,单一核参数很难两头兼顾。
- 场景 C:类别重叠。两类数据分布有部分区域天然混在一起,无论什么模型都不可能完美分开。
这三个场景不是我拍脑袋想的,都是从实际项目中抽象出来的痛点。后面要说的两个“新算法”,就是在处理场景 A 和场景 B 时慢慢养出来的。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 算法一号:非对称惩罚,把被“吃掉”的少数类救回来
2.1 数据失衡后,SVM 的决策边界是怎么被带偏的
标准 SVM 的软间隔版本,对所有误分类样本采用同一个惩罚系数 C。这个设计在类别均衡时问题不大,一旦正负样本比例悬殊,问题就来了。
