周晓农LASSO这名字在机器学习圈里出现频率实在太高了，尤其你一旦开始处理高维数据、做特征筛选，或者模型解释性遇到瓶颈，它基本就是绕不开的那把手术刀。这篇东西不是我写给论文看的，是我把从原理到落地、再到调参踩坑整个过程重新梳理了一遍，用一次实际项目的方式完整走下来，把每一步的“为什么”和“怎么选”都讲透。你可以把它当成一份带注释的操作笔记，照着做就能快速把LASSO用起来，而不是停留在“听过这个名字”的层面。
1. LASSO是什么，它到底解决了什么麻烦
1.1 从普通线性回归聊起：过拟合是怎么来的
大多数人接触机器学习的第一课就是线性回归，公式简单，效果直观，解释起来也方便。但一旦特征数量多起来，问题就出现了。你手里有几百个特征，样本量却只有几十条，普通最小二乘回归会在训练集上拟合得异常漂亮，测试集上惨不忍睹，这就是典型的过拟合。更麻烦的是，几百个特征里真正有用的可能就十几个，剩下全是噪声，可模型不分辨这些，它会把每个特征的系数都估出来，哪怕是完全没有意义的列，也会得到一个非零的权重。
我刚开始做特征工程的时候也走过弯路，觉得特征越多信息越多，恨不得把交互项、平方项全部塞进去。结果模型复杂得像个八爪鱼，预测一塌糊涂，领导问起来哪个变量起了作用，我一句都答不上来。这时候我意识到，模型不仅要“会预测”，还得“能解释”。但是普通回归在这个需求面前几乎是束手无策的，除非你手动去筛特征，而手动筛意味着主观、耗时、容易出错，而且特征之间还有相关性，你单独看每个特征和标签的关系可能都不显著，组合起来却很重要，这种效应靠人工很难发现。
LASSO的出现正好卡在这个痛点上：它能在拟合模型的同时自动完成特征选择，把一堆特征里没用的那些系数直接压成零，留下的就是模型认可的“有用特征”。这意味着你跑完一次训练，不仅拿到预测模型，还顺手得到了一份精简后的特征清单，这在真实项目里的价值往往比模型本身的精度提升还要大。
1.2 LASSO和岭回归的纠葛：都是正则化，路数完全不同
很多人第一次接触LASSO的时候会同时听到另一个名字——岭回归（Ridge）。它们俩确实是近亲，都属于正则化线性模型，罚的都是系数的大小，但罚的方式不一样，效果也就截然不同。岭回归加的是L2范数惩罚，也就是系数平方和，它会把系数往小里压缩，但极少变成零。LASSO加的是L1范数惩罚，也就是系数绝对值之和，它会把系数精确地压成零。
这个差别从几何直观上很好理解。约束条件在二维平面上，岭回归是圆形，LASSO是菱形，目标函数的等高线最先接触到菱形的顶点时，就落在坐标轴上，对应的另一个系数就是零。放到高维空间里，LASSO造成的解边界就带有“尖角”，这些尖角刚好让解倾向于稀疏。简单说，岭回归削峰填谷但保留所有变量，LASSO是直接裁员，把不重要的变量踢出门。
所以在选择上，如果你的目标是预测精度、特征之间存在多重共线性时，岭回归往往更稳；但如果你的目标是特征筛选、模型解释、压缩存储，LASSO就是那个更合适的选择。真实项目里倒也不用在两者之间死磕，因为它们还有一个混合体叫弹性网（Elastic Net），介于两者之间，这个后面我会单独讲。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. LASSO的核心原理：那个压缩系数为零的机制是怎么运作的
2.1 损失函数：一个目标函数里藏着两个诉求
LASSO的完整目标函数长这样：
[
\min_{\beta} \left{ \frac{1}{2n} \sum_{i=1}^{n} (y_i - X_i \beta)^2 + \lambda |\beta|_1 \right}
]
前一项是残差平方和，衡量模型对训练数据的拟合程度；后一项是L1惩罚项，(|\beta|1 = \sum^{p} |\beta_j|)，也就是所有系数绝对值之和。(\lambda)是正则化参数，控制惩罚的强度。整个求解过程就是在“拟合得更好”和“系数更小/更稀疏”之间找一个平衡点。
这里有个关键点：惩罚项不是加在所有系数上的，截距项 (\beta_0) 通常不参与惩罚。因为截距只是平移预测值，不影响特征的筛选，罚它没有任何意义。你在用sklearn的Lasso时，它会自动处理好截距，不需要手动去调，但如果哪天你自己实现了损失函数，记住别把截距也罚了，否则结果会偏。
另外，前面那个 (\frac{1}{2n}) 是归一化因子，本质上是为了让损失函数不随样本量变化而剧烈波动，也方便不同样本量之间的比较。很多教材里写的时候会省略，但在实现时候务必加上，不然你的 (\lambda) 区间和标准实现会对不上。
2.2 软阈值：一个让系数变为零的精巧操作
LASSO为什么能把系数精确变成零而不是趋近于零？答案藏在坐标下降法的迭代更新公式里。对于标准化的数据，LASSO的系数更新可以写成一个非常简洁的形式：
[
\beta_j = S_{\lambda}(\rho_j)
]
其中 (\rho_j = \sum_{i=1}^{n} x_{ij} (y_i - \hat{y}i^{(j)}))，是当前残差与第 j 个特征的内积，本质上是单变量最小二乘解的方向。而 (S{\lambda}) 就是软阈值操作符：
[
S_{\lambda}(z) =
\begin{cases}
z - \lambda, & z > \lambda \
0, & |z| \leq \lambda \
z + \lambda, & z < -\lambda
\end{cases}
]
这个操作的意思是：如果当前相关系数（可以理解成特征与残差的相关性）不足以超过 (\lambda) 这个门槛，就把它一刀切为零；如果超过了，就往零的方向收缩一个 (\lambda) 的量。这就是LASSO实现稀疏性的根本原因。
我实测下来，用坐标下降法求解LASSO非常快，即使特征维度上万，也只需要迭代几十轮就能收敛。因为每一步只需要更新一个系数，而复线性回归要求的矩阵求逆在高维运算中根本不可行。sklearn里的Lasso默认就是用坐标下降法，你要理解为什么Lasso的max_iter参数存在，正是因为这是一次次遍历更新系数，直到收敛阈值满足为止。
2.3 正则化参数 lambda：一个需要小心伺候的旋钮
(\lambda) 是整个LASSO里唯一需要你手动调的关键超参数，它控制着解的稀疏程度。当 (\lambda=0) 时，LASSO退化为普通最小二乘；当 (\lambda) 足够大时，所有系数都会被压成零，模型变成一条水平线，预测值就是均值。
(\lambda) 从小到大的过程，就是一个从过拟合到欠拟合的连续谱系。实际调参时，我一般用交叉验证来找一个相对最优的 (\lambda)，而不是凭经验拍脑袋，因为最优 (\lambda) 高度依赖数据的噪声水平和特征维度。并且，(\lambda) 的尺度也和样本量有关，因为我们的损失函数前面还有一个除以 (n) 的系数，所以不同样本量下同一个 (\lambda) 实际惩罚强度是不同的，这点容易让人困惑。
在sklearn里，有个很实用的对象叫LassoCV，它可以帮你在一个对数等距的 (\lambda) 网格上自动做交叉验证，找到误差最小的那个值。不过要注意，sklearn里用的正则化参数叫 alpha，本质上就是我们说的 (\lambda)，别搞混了。
3. 实操：用Python做一次完整的LASSO建模
3.1 数据准备：标准化是第一道铁律，也是最多人忽视的地方
LASSO对特征的尺度非常敏感，原因从软阈值公式里就能看出来。特征 (x_j) 的尺度决定了内积 (\rho_j) 的尺度，如果不做标准化，量纲大的特征天然更容易被保留，量纲小的特征即使很重要也可能被压缩成零。这完全不是我们想要的公平竞争。
所以在我自己的流程里，标准化的顺序是放在训练集拆分之后、模型拟合之前。你绝对不能先全量标准化再拆分，这样会把测试集信息泄漏到训练集里来。正确做法是，先用训练集拟合一个 StandardScaler，然后用它分别转换训练集和测试集。在sklearn里用 Pipeline 可以很方便地把标准化和LASSO串起来，避免犯这种低级错误。
还有一点，分类特征如果经过独热编码变成多个0/1列，标准化后就会失去稀疏性，存储和计算都会变慢。所以标准化的操作其实只适合数值型连续特征，对独热编码后的类别特征我更倾向于不缩放，或者直接传递给模型让它内部处理。当然，如果你用的是 Pipeline 并且特征全部是数值型的，那就无脑标准化就行。
3.2 从sklearn入手：一行代码跑通基础版
直接用 sklearn 实现LASSO非常简单。下面这段代码我基本每次建模都会复用：
python复制import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Lasso, LassoCV
from sklearn.metrics import mean_squared_error, r2_score
# 假设 X 是特征矩阵，y 是目标变量
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
# 先固定一个 alpha 观察效果
lasso = Lasso(alpha=0.01, max_iter=10000, random_state=42)
lasso.fit(X_train_scaled, y_train)
y_pred = lasso.predict(X_test_scaled)
print("训练集R2:", r2_score(y_train, lasso.predict(X_train_scaled)))
print("测试集R2:", r2_score(y_test, y_pred))
print("测试集RMSE:", mean_squared_error(y_test, y_pred, squared=False))
print("非零系数数量:", np.sum(lasso.coef_ != 0))
我在实际项目中习惯先设定一个较小的 alpha，跑通整个流程，确认数据管道没有问题，然后再用交叉验证去挑选 alpha。这样调试的时候定位问题更快，不用等交叉验证跑完才报错。
3.3 用交叉验证选出靠谱的 alpha
python复制lasso_cv = LassoCV(
eps=1e-3,
n_alphas=200,
cv=5,
max_iter=10000,
random_state=42
)
lasso_cv.fit(X_train_scaled, y_train)
print("最优 alpha:", lasso_cv.alpha_)
print("训练集R2:", r2_score(y_train, lasso_cv.predict(X_train_scaled)))
print("测试集R2:", r2_score(y_test, lasso_cv.predict(X_test_scaled)))
LassoCV 会扫描 n_alphas 个候选值，默认的路径长度由 eps 控制，eps 是最大 alpha 和最小 alpha 的比值下限。这个值设置太小，会让 alpha 网格覆盖不够；设置太大会让路径变长、计算变慢。我一般用默认的 1e-3，如果需要更精细的搜索区域，可以再手动指定 alphas 列表。
注意一个细节：LassoCV 默认是分层的K折，如果你的分类任务存在类别不平衡，建议改成 StratifiedKFold。但在回归任务里没有分层概念，直接 cv=5 就好。
选完 alpha 之后，我还有一个小习惯：用选出来的 alpha_ 再在整个训练集上重新拟合一次最终模型。虽然 LassoCV 内部已经在全量训练集上拟合过，但为了心里踏实、代码逻辑清晰，我会显式再拟合一次，然后把系数表导出来，给业务方看。
3.4 解读结果：系数表才是LASSO给出的最值钱东西
python复制feature_names = np.array(X.columns)
selected_mask = lasso_cv.coef_ != 0
selected_features = feature_names[selected_mask]
selected_coefs = lasso_cv.coef_[selected_mask]
# 按系数绝对值排序
order = np.argsort(np.abs(selected_coefs))[::-1]
for name, coef in zip(selected_features[order], selected_coefs[order]):
print(f"{name}: {coef:.4f}")
跑完这个，你会得到一份清晰的特征重要性清单。这里提醒一下，LASSO的系数值不像线性回归那样能直接解读成“边际效应”，因为在收缩过程中系数被偏置变小了。所以看排序可以，看绝对大小要谨慎。如果业务方问“这个系数是不是就是每增加一单位对y的影响”，你得解释清楚，这是被正则化偏置过的值，用于特征重要性排序更合理。
4. LASSO的应用场景：哪些场景它最吃香，哪些场景要慎用
4.1 高维数据：基因表达量、文本TF-IDF、用户行为特征
我最常遇到LASSO的典型场景是高维稀疏特征。举个例子，文本分类里做TF-IDF向量化之后，特征维度轻松上几万甚至几十万，但样本量可能只有几千。这种数据喂给普通逻辑回归，不仅训练慢，还容易过拟合，而LASSO可以在训练过程中自动挑选出对分类最有区分度的词条，把特征维度从几十万砍到几百，模型精度不降反升。
另一个典型场景是基因表达数据处理，特征数上万、样本数只有几十或几百，这种极端的高维小样本数据，LASSO几乎成了标配baseline。它给出的基因列表还能辅助生物学解释，这就是特征选择带来的附加值。
用户行为数据也一样。一个用户在APP里的点击行为被拆成几十个统计特征，很多之间强相关，直接全塞进模型会导致VIF爆表。用LASSO跑一轮，就能把真正驱动目标行为的特征找出来，后续做策略分析也方便。
4.2 但要注意：高相关特征组里LASSO会“随便挑”
LASSO有个著名的问题是：当一组特征彼此高度相关时，它会从这组里随机挑一个，把其他的压缩为零。这在统计学上叫“组效应缺失”。这意味着如果你直接看LASSO选出来的特征，可能会得出“某一个特征有用而另一个没用”的错误结论，而实际上它们信息高度重叠，谁被选中带有随机性。
我在一次电商用户价值预测项目里就踩过这个坑。当时两个特征“近30天登录天数”和“近30天活跃天数”相关性高达0.9，LASSO轮着选，有时候选中前面的，有时候选中后面的，导致模型在月度重训时特征列表不稳定，业务方对结果产生了不信任。
遇到这种问题，我建议的解法有三个。第一个是用弹性网（Elastic Net）替代LASSO，它在L1惩罚之外还加一个L2惩罚，能让高度相关的特征同时保留或同时丢弃。第二个是先做聚类或去相关，把相似特征合并成一组，再来跑LASSO。第三个是在多次随机种子下跑LASSO，统计特征被选中的频率，选那些稳定出现的特征。实践中最省心的还是第一个，直接在sklearn里把Lasso替换成ElasticNet，加一个l1_ratio参数，模型输出基本就能稳定下来。
4.3 LASSO不擅长的问题：预测精度天花板与非线性关系
LASSO本质上还是线性模型，如果特征与目标之间的关系明显是非线性的，比如U型关系、阈值效应，它就会力不从心。这种情况下你可以做特征工程，比如加入多项式项或者样条基展开，再喂给LASSO，但这样做手工量比较大。
另一种可选的进阶方案是直接把LASSO当作特征初筛工具，把选出来的特征再用随机森林、XGBoost这类非线性模型去建模，这在高维数据竞赛里是一个非常常见的trick。我自己的经验是，先用LASSO砍掉90%的无用特征，再上非线性模型，训练时间大幅缩短，精度还通常有提升。这个方法在我参加过的几个数据挖掘比赛里都验证过。
5. 常见问题与排查技巧实录
5.1 收敛警告：max_iter不够怎么办
使用sklearn的Lasso时，你会经常看到一条警告：ConvergenceWarning: Objective did not converge。这个警告在特征维度高、alpha很小的时候特别容易出现，因为alpha小意味着解更接近无约束最小二乘，坐标下降的收敛速度会变慢。
解法很直接，把max_iter加大，比如从默认的1000调到10000甚至50000。如果加大之后还在警告，那就要检查数据是不是存在严重的单位差异，或者有没有缺失值没有处理干净。我之前遇到过一次，仅仅是因为某个特征里有大量NaN被填充成0，导致坐标下降一直震荡。
还有一个容易被忽略的点：tol参数，默认是1e-4。如果你把tol调大一点，比如1e-3，收敛会更快，但精度会打折扣。在项目初期快速验证特征的时候可以放宽tol，在最终出结果前再用严格参数重跑一遍。
5.2 标准化的重要性：又提一次，因为它太常被忽略了
我见过不止一次，有人拿原始特征直接跑LASSO，然后发现结果不受控：有的特征系数是好几千，有的几乎为零。其实这就是量纲差异造成的。标准化之后，特征之间的比较才公平，坐标下降也更容易收敛。这个操作虽然基础到不行，但凡是忽略它的人，后面都会花更多时间排查问题。
标准化的时候还要注意，某些特征的分布极端偏斜，比如长尾分布，单纯用Z-score标准化不够，可能还需要先做log变换。我习惯先画一下特征分布图，对偏斜严重的特征做log1p变换，再做标准化，这样LASSO的路径曲线会更加平滑。
5.3 alpha的搜索范围不对，导致选不出理想模型
LassoCV虽然会自动搜索alpha，但如果alphas的搜索范围离最优值太远，就可能出现选出来的alpha落在边界上的情况。你可以在拟合后检查lasso_cv.alphas_的最小值和最大值，如果lasso_cv.alpha_等于alphas_[0]或alphas_[-1]，说明最优值可能在搜索范围之外，需要调整eps或者手动指定alphas。
我一般先运行一次宽范围搜索，观察alphas_曲线下的MSE是否有明显的凸形，再缩小范围精细搜索。这里分享一个实操技巧：用lasso_cv.mse_path_画出来，横轴是alpha对数尺度，纵轴是均方误差，你会看到一条典型的U形曲线，等误差曲线从下降到上升的拐点处，就是比较理想的alpha位置。根据一个标准差规则（one-standard-error rule），我通常选择那个误差与最小值之间差距在一个标准差以内的最大alpha，因为这样可以获得更稀疏的模型，而预测精度几乎不损失。
5.4 特征共线性的隐藏陷阱
前面说过LASSO在高相关特征组里会随机选特征，这导致的后果就是模型系数不稳定。怎么判断你的模型是否存在这个问题？我常用一个方法：把训练数据做Bootstrap，跑50次LASSO，统计每个特征被选中的概率。如果一组相关特征被选中的频率非常低，比如低于0.3，而它们与目标变量的相关性又很高，基本可以判断是共线性导致的。
遇到这种情况，用弹性网是首选。它保留了L1的稀疏性，同时通过L2惩罚平均了相关特征之间的系数权重，让结果更稳定。在sklearn里只需要一行替换：
python复制from sklearn.linear_model import ElasticNetCV
enet_cv = ElasticNetCV(
l1_ratio=0.7,
eps=1e-3,
n_alphas=100,
cv=5,
max_iter=10000,
random_state=42
)
enet_cv.fit(X_train_scaled, y_train)
l1_ratio控制L1惩罚的比重，等于1时就是LASSO，等于0时就是岭回归。我一般在0.5到0.9之间调，实际项目中0.7算是一个不错的起点。ElasticNetCV会同时搜索l1_ratio和alpha，计算量会比LASSO大一些，但换来的是稳定性，值这个开销。
5.5 缺失值填充对LASSO的影响
LASSO不原生支持缺失值，所以你必须先处理。但怎么填充其实挺讲究。简单的均值填充会把缺失信息抹掉，如果缺失本身带有信息量，那还不如添加一个“是否缺失”的指示变量。
我的做法是：对每个特征，先计算缺失率，如果缺失率超过50%，直接删除；对缺失率较低的特征，根据数据类型用中位数或众数填充，同时新增一个布尔特征标记该样本在该列是否缺失。这样LASSO可以自己判断缺失标记有没有用，如果有用它会保留，没用就压成零。实测下来这个方法在多个项目里都有效，算是一个成本低收益高的预处理技巧。
5.6 大规模数据下的性能问题
当特征维度超过10万、样本量超过几十万的时候，sklearn的Lasso用坐标下降法会变得比较慢。虽然理论上坐标下降在稀疏矩阵上效率很高，但我实测下来，在稠密矩阵上它依然要走很多轮全量更新。
这时候我会换用SAGA求解器，它在sklearn里通过solver='saga'启用，对大样本和高维数据的收敛更快，因为它是随机平均梯度方法的一个变体。还有个选择是sparse版本的实现，特别是输入矩阵本身是稀疏的（比如TF-IDF），用稀疏矩阵格式能大幅提速。注意，LassoCV目前不支持SAGA，只能用坐标下降，如果你需要在大数据上做自动调参，那就得手写交叉验证循环，或者改用SGDRegressor配合penalty='l1'来近似的路径搜索。
5.7 特征选择后的模型重训，到底要不要做
一个常见的操作流程是先跑LASSO选出非零特征，然后只用这些特征重训一个不带正则化的线性回归，认为这样可以得到更准确的系数。这个想法有一定道理，只是它有一个前提：你选特征和估计系数用的是同一份数据，这会导致选择偏差，尤其是在样本量不够大的时候。
LASSO本身的系数已经有收缩偏差，重训可以去除收缩，但它用的特征集合是看了一遍数据后才定的，所以系数估计仍然带乐观偏差，预测误差不见得更好。我自己的经验是，如果最终目的是做预测，直接用LASSO的预测结果就好，不需要重训；如果目的是给业务方一个解释性强的系数表，那重训一个普通线性回归是可以接受的，但要在报告中注明这个系数只是解释用，不保证预测最优。如果你真的需要无偏的特征重要性和系数估计，更严谨的做法是把数据拆成三份：一份选特征，一份估系数，一份做最终评估。
6. 最后的几个小心得
LASSO这套东西，从原理到实现再到调参，一路走下来其实并没有哪个环节特别难，但难在每一个环节都有可能导致结果跑偏。标准化、alpha选择、共线性诊断、收敛参数，任何一步疏忽都会让你得到一个看起来合理、实际上不可靠的模型。我自己的体会是，不管项目多紧张，我一定会画两条曲线：一条是交叉验证的MSE随alpha变化的曲线，一条是系数随alpha变化的路径图。这两张图能让我在最短时间内判断模型是不是靠谱，也方便给同事和业务方解释为什么最终选择了某个参数。
如果你刚开始学LASSO，不用急着去啃那些复杂的推导，先拿一份真实数据跑通一遍流程，把系数路径图画出来，观察那些系数从非零到零的过程，你会有一种“原来如此”的通透感。之后再回去看坐标下降的推导，会发现那些公式其实都在描述一件特别直观的事：太弱的相关信号，就不配拥有非零系数。
最后再分享一个小技巧。LASSO选出来的特征集对随机种子比较敏感，尤其是数据量不大时。所以我在出结论前，一般会用多个随机种子跑LassoCV，观察被选特征集合的稳定性。如果某几个特征在所有随机种子下都稳定上榜，那它们就是真正值得关注的核心变量；如果某特征只在某一次运行中出现，那基本就不用管它了。这个方法成本极低，但能帮你过滤掉大量虚假的“重要特征”，我个人的项目中一直在用。