Hermione Tsang在机器学习项目里摸爬滚打几年，回头看看最让我觉得“学了就能用、用了就有效”的基础技术，正则化绝对排前三。很多初学者训练模型时都会遇到这种情况：训练集上loss低得漂亮，验证集上一测试就原形毕露，这就是典型的过拟合。正则化就是用来治这个毛病的。它不是一个花哨的模型结构，也不是复杂的数学技巧，而是给损失函数加一点“约束”，让模型别太死心眼、别把训练数据里的噪声当成规律背下来。
这篇文章我会从“过拟合为什么发生”这个根源讲起，把L1、L2这些主流正则化手段的原理掰开揉碎，再带大家手把手在代码里实现、调参，最后整理一些我踩过的坑和排查经验。不管你是刚入门机器学习、正在准备期末复习，还是已经在跑模型但效果不理想，这篇文章都值得你花十分钟读完。
1. 从过拟合说起：正则化到底在解决什么问题
想要理解正则化，先得搞清楚它要解决的问题。我见过太多人一上来就学L1、L2公式，结果根本不理解为什么要惩罚权重，换一个场景就不会用了。这里我用自己的理解帮你把地基打牢。
1.1 什么是过拟合：模型的“死记硬背”问题
机器学习的本质是让模型从训练数据中学习一个映射关系，然后用这个关系去预测没见过的数据。理想情况是模型学到的是数据背后的“规律”，但实际操作中，模型很容易学过头，把训练数据中的每一个点都精确拟合住，连噪声和异常点都背了下来。
打个比方：一个学生复习时不是理解知识逻辑，而是把习题册的每一道题连同答案都背下来。考试时如果出的题是原题，他得满分；但只要题目稍微变一变，他就彻底懵了。这个学生就是“过拟合”了。他记住了数据，而不是学会了规律。
在模型上，过拟合的表现非常典型：
- 训练集损失低、准确率高，但验证集或测试集表现明显变差
- 模型参数量越大、模型越复杂，过拟合越严重
- 训练曲线中，训练loss持续下降但验证loss在某个点后开始回升
模型为什么容易过拟合？说到底，模型的表达能力太强了。一个拥有成千上万参数的深度神经网络，理论上可以拟合任意复杂的函数。训练数据本身又带着噪声和采样误差，模型为了把每个训练点都拟合住，就会把权重调得很大，函数曲线变得异常陡峭、曲折。这种复杂函数对训练集的“完美适应”，恰恰是对测试集的不适应。
1.2 正则化核心思想：给模型戴上“紧箍咒”
理解了过拟合的根源，正则化的思路就清晰了：既然模型太复杂是问题，那就想办法限制模型的复杂度。正则化的核心做法是在损失函数中增加一项“惩罚项”，让模型在最小化原有误差的同时，还要维持参数本身处于一个合理的范围。
这里有个关键点需要理解：正则化不是直接限制模型有多少层、多少个神经元（那是结构设计层面的选择），而是通过“惩罚大权重”来间接约束模型的行为。大权重意味着某个特征对输出有极大的影响，这通常是模型在放大噪声；而小权重则让模型的输出对各个特征的微小变化不那么敏感，函数曲线自然就平滑了。
用一句话总结：正则化让模型在“拟合训练数据”和“保持模型简洁”这两个目标之间寻找平衡。这个平衡由正则化系数来控制，系数大则模型更倾向于“简单”、可能欠拟合，系数小则模型更倾向于“精确拟合”、可能过拟合。实际操作中，这个系数的调节是我们调参的核心工作之一。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. L1和L2正则化：两种最常见的惩罚方式
正则化家族里，L1和L2是绝对的主角。很多教材会直接给出公式然后讲“L1产生稀疏解、L2防止过拟合”，但很少解释为什么。这里我用几何直觉和代码两个角度来拆解，帮你真正记住它们。
2.1 L2正则化的原理与几何直觉
L2正则化是最经典、最常用的一种，它给损失函数加的惩罚项是权重向量各元素平方和的一半，再乘以正则化系数λ。加上这一项之后，模型的优化目标变成：不仅要让预测误差小，还要让权重的平方和尽量小。
为什么这样做能防止过拟合？从数值角度看，惩罚项对权重的导数会形成一个“衰减”项，每一步梯度更新时，权重都会先被乘以一个小于1的系数，再沿梯度方向更新。这就相当于每次更新都在“收缩”权重。权重被压缩到一个较小的范围内，模型对每个特征的响应就不会那么剧烈，函数也就更平滑、泛化能力更强。
从几何上看更直观。如果我们在二维平面上看权重空间，L2惩罚项对应的是一个以原点为中心的圆形约束区域。在无约束的情况下，损失函数的最优解可能在远离原点的地方；加上L2