机器学习正则化技术：LASSO与岭回归原理与应用-代码聚汇网

机器学习正则化技术：LASSO与岭回归原理与应用

胡大渔·2026-08-15·阅读 23 GEO检测（免费）

正则化岭回归LASSO回归

|难度：普通|阅读约 11 分钟

1. 回归模型中的正则化技术解析

在机器学习实践中，线性回归是最基础也最常用的算法之一。但传统最小二乘法在面对高维数据或特征相关性较强时，容易出现过拟合和系数不稳定的问题。这正是LASSO回归（Least Absolute Shrinkage and Selection Operator）和岭回归（Ridge Regression）大显身手的场景。

这两种方法都属于正则化回归技术，通过在损失函数中添加惩罚项来控制模型复杂度。它们的核心区别在于使用的范数不同：LASSO采用L1范数惩罚，能够产生稀疏解（即自动进行特征选择）；而岭回归采用L2范数惩罚，更适合处理共线性问题。我在实际项目中经常根据数据特点交替使用这两种方法，特别是在特征数量超过样本量（p>n）的情况下，正则化技术几乎成为必选项。

需要模型API调用？免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。

2. 岭回归的数学原理与实现

2.1 岭回归的目标函数

岭回归的优化目标是在普通最小二乘损失函数基础上增加L2正则项：

code复制min ||y - Xw||² + α||w||²

其中α是控制正则化强度的超参数。这个附加项通过惩罚较大的系数值，有效防止模型过度依赖某些特征。当特征之间存在高度相关性时，岭回归能显著提升模型稳定性。

我在金融风控项目中曾遇到一个典型场景：用户的收入、资产值和信用评分三个特征相关性达到0.8以上。使用普通线性回归时，系数估计的方差非常大，而引入α=0.5的岭回归后，模型在测试集上的RMSE下降了23%。

2.2 超参数α的选择技巧

α的选择对模型性能至关重要。过小的α起不到正则化效果，过大的α则会导致模型欠拟合。实践中我常用以下方法确定最佳α值：

在10^-5到10^5范围内生成等比数列作为候选值
使用交叉验证计算每个α对应的误差
选择误差最小的α，同时检查系数路径图确认稳定性

Python实现示例：

python复制from sklearn.linear_model import RidgeCV
alphas = np.logspace(-5, 5, 100)
ridge = RidgeCV(alphas=alphas, cv=5).fit(X_train, y_train)
print(f"Best alpha: {ridge.alpha_}")

注意：当特征量纲差异较大时，务必先进行标准化处理。否则正则化项会被数值较大的特征主导。

3. LASSO回归的特性与应用

3.1 特征选择机制

LASSO回归的独特之处在于其能产生稀疏解——即将某些特征的系数压缩为零。这种特性来自L1正则项的几何性质：高维空间中的菱形约束边界会使优化解更容易出现在顶点处（即某些系数为零）。

在电商用户行为分析中，我曾用LASSO处理过包含200多个特征的数据集。最终模型自动选择了12个关键特征，包括：

最近购买间隔（系数：0.47）
月均点击量（0.33）
优惠券使用率（0.25）
其余特征系数均为零，这不仅简化了模型，还提升了可解释性。

3.2 实现细节与调优

LASSO对异常值较为敏感，建议先进行数据清洗。另一个常见问题是当特征数远大于样本数时，最多只能选择n个特征（n为样本量）。解决方案包括：

使用弹性网络（Elastic Net）结合L1和L2正则化
通过领域知识预筛选特征
采用分层抽样增加样本多样性

Python实现示例：

python复制from sklearn.linear_model import LassoCV
lasso = LassoCV(cv=5, max_iter=10000).fit(X_train, y_train)
print(f"Selected {sum(lasso.coef_ != 0)} features")

4. 两种方法的对比与选择指南

4.1 性能对比实验

在相同数据集上对比两种方法的表现：

指标	普通线性回归	岭回归(α=0.5)	LASSO回归
训练集R²	0.92	0.89	0.88
测试集R²	0.76	0.83	0.84
特征数	全部(15)	全部(15)	7
最大系数值	12.3	5.7	4.2

可以看到正则化方法显著提升了泛化能力。LASSO在保持性能的同时实现了特征选择。

4.2 选择决策树

根据数据特点选择合适的方法：

特征间高度相关 → 优先岭回归
需要特征选择 → 选择LASSO
特征数>>样本数 → 弹性网络
所有特征都可能相关 → 岭回归
追求模型可解释性 → LASSO

5. 实战中的经验与陷阱

5.1 数据预处理要点

正则化回归对数据尺度敏感，必须进行标准化处理：

python复制from sklearn.preprocessing import StandardScaler
scaler = StandardScaler().fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)  # 注意使用相同scaler

常见错误包括：

在划分训练测试集前进行标准化（导致数据泄露）
对测试集使用独立的scaler
忽略稀疏特征的标准化处理

5.2 系数解释的注意事项

正则化会压缩系数绝对值，因此：

不能直接比较不同特征的系数大小
重要特征的系数可能被低估
需要结合领域知识验证特征重要性

在医疗诊断项目中，我们发现LASSO选择的"血糖水平"系数比预期小，经检查是因为该特征与其他指标高度相关。最终采用岭回归获得了更合理的系数分布。

5.3 计算效率优化

对于大规模数据，可以使用：

随机梯度下降（SGD）实现
增量学习（partial_fit）
稀疏矩阵存储格式

python复制# 使用SGD实现岭回归
from sklearn.linear_model import SGDRegressor
sgd = SGDRegressor(penalty='l2', alpha=0.1, max_iter=1000)
sgd.fit(X_train_scaled, y_train)

6. 高级应用与扩展

6.1 时间序列预测中的特殊处理

当应用于时间序列数据时，需要考虑：

在交叉验证中使用TimeSeriesSplit
添加滞后特征时控制正则化强度
对周期性特征采用分组正则化

在电力负荷预测项目中，我们构建了包含24小时滞后特征的LASSO模型。通过设置alpha=0.1，模型自动保留了最近3小时和同时段前几天的关键特征。

6.2 分类问题的适配

虽然主要讨论回归问题，但这些技术同样适用于分类：

逻辑回归+L1正则化 → Sparse logistic regression
逻辑回归+L2正则化 → 传统岭分类器

python复制from sklearn.linear_model import LogisticRegression
# L1正则化逻辑回归
logit_l1 = LogisticRegression(penalty='l1', solver='liblinear').fit(X_train, y_train)

6.3 与其他模型的结合

正则化线性模型常作为复杂模型的基准：

与树模型对比特征重要性
作为神经网络的初始化
集成学习中的基学习器

在推荐系统竞赛中，我们先用LASSO筛选出30个关键特征，再输入到XGBoost中，最终比直接使用XGBoost节省了40%训练时间，且AUC提升了5%。