L1正则化：特征选择与稀疏性解析

1. L1正则化：深度学习的特征选择利器

在深度学习模型训练过程中，我们常常面临一个关键挑战：如何防止模型过度依赖训练数据中的噪声和无关特征？这就是正则化技术大显身手的地方。而L1正则化，作为正则化家族中最具特色的成员之一，以其独特的"断舍离"哲学在机器学习领域独树一帜。

我第一次接触L1正则化是在处理一个医疗影像分类项目时。当时我们的模型有超过10万个特征参数，但真正有意义的可能不到1%。使用L1正则化后，模型不仅准确率提升了3%，更重要的是将特征数量压缩到了原来的15%，这让临床医生能够更清晰地理解模型做出诊断的依据。

1.1 L1正则化的核心思想

L1正则化的本质是在原始损失函数中添加模型权重的绝对值之和作为惩罚项。用数学公式表示就是：

code复制L = 原始损失 + λ * Σ|w_i|

其中λ是控制正则化强度的超参数。与L2正则化不同，L1正则化不是简单地将权重缩小，而是倾向于将不重要的权重直接归零。这种特性使得L1正则化成为天然的特征选择器——它不仅能防止过拟合，还能自动识别出对预测真正重要的特征。

在实际应用中，我发现L1正则化特别适合以下场景：

• 特征维度远大于样本数量的高维数据
• 需要模型解释性的应用领域（如医疗、金融）
• 移动端部署等对模型大小敏感的环境

提示：L1正则化的效果与λ值密切相关。λ太小会导致稀疏性不足，λ太大则可能过度惩罚重要特征。通常建议从0.001开始尝试，通过交叉验证找到最佳值。

2. L1 vs L2：几何视角的深刻差异

2.1 约束空间的形状对比

理解L1和L2正则化差异最直观的方式是观察它们的约束空间。L2正则化对应的约束空间是一个光滑的圆形（高维情况下是球体），而L1正则化则形成一个菱形（高维情况下是菱形多面体）。

这种几何差异带来了关键的行为区别：

• L2的解通常位于约束圆的边界某处，权重会变小但很少完全为零
• L1的解则倾向于落在菱形的角上，这些角正好位于坐标轴上，导致某些权重为零

python复制import numpy as np
import matplotlib.pyplot as plt

# 可视化L1和L2约束边界
theta = np.linspace(0, 2*np.pi, 100)
r = 1.0

# L2约束（圆形