先说个很常见的场景:你手上有几百条用户数据,包含年龄、最近一次消费金额、平均浏览时长,老板丢给你一句“预测一下这批用户里哪些下个月还会再来”。这就是标准的二分类问题。在机器学习里,绝大多数初学者入门时接触的第一个分类模型,就是逻辑回归。
逻辑回归这名字很有迷惑性,第一次听的人都会问:回归不是预测连续值的吗,怎么用来分类了?这篇博文就把这件事讲透。我会从它的原理讲起,再用 Python 配合 scikit-learn 跑一个完整示例,最后通过可视化把决策边界、损失曲线、混淆矩阵全画出来,让模型“开口说话”。文章面向零基础到刚入门的朋友,你已经会基本的 Python 语法就行,不需要任何机器学习基础。
1. 逻辑回归在做什么:一个分类器的基本思路
1.1 明明是回归,为什么拿来分类
逻辑回归确实是线性回归“生”出来的。线性回归做的事情是拟合一条直线,比如 y = w1*x1 + w2*x2 + b,用特征去预测一个连续数值。但分类任务要的是“是/否”“A/B”这种离散答案,直接拿线性回归的输出没法用。比如房价预测输出 250 万没问题,但如果让线性回归输出“用户会不会流失”,它可能给你一个 3.7 或者 -1.2,这算什么答案?
于是有人想了个办法:既然线性回归能算出一个实数,那我把这个实数塞进一个能把它压缩到 0 到 1 之间的函数里,不就能当概率用了吗?这个“压缩函数”就是 Sigmoid。逻辑回归本质上就是“线性回归 + Sigmoid 转换”,所以名字里保留了“回归”二字,实际上做的是分类。
这也是我反复跟新人强调的一点:逻辑回归的输出永远是一个概率值,不是直接的类别标签。你需要自己定一个阈值(默认是 0.5),大于等于阈值就判为正类,小于就判为负类。这个阈值也可以根据业务场景调整,比如垃圾邮件过滤时,宁肯误杀也不想漏杀,就会把阈值调低。
1.2 Sigmoid函数:把分数变成概率
Sigmoid 的公式长这样:
text复制σ(z) = 1 / (1 + e^(-z))
它的输入 z 是任意实数,输出永远落在 0 到 1 之间。z 越大输出越接近 1,z 越小输出越接近 0,z 等于 0 的时候输出正好是 0.5。曲线呈 S 形,这个名字就是希腊字母 sigma 的由来。
我给学生讲的时候喜欢用一个类比。想象一个水位计,水箱从底部开始注水。水很浅的时候,浮标几乎不动(输出接近 0);水面升到中间某个位置,浮标开始明显上升;水面继续涨,浮标接近顶部后就不再动了(输出接近 1)。Sigmoid 的“敏感区间”集中在中间,两端的响应很迟钝,这个特性正好模拟了“概率不能超过 1 也不能小于 0”的约束。
对新手来说,你只需要记住三点:Sigmoid 把任意实数压缩到 0 到 1、它在 0 附近变化最快、它是光滑可导的。第三点很重要,因为梯度下降需要求导数,函数光滑可导才能顺利反向传播。
1.3 决策边界:模型划分区域的真实依据
模型训练完成后,你手里有了一组权重 w 和偏置 b。做预测时,先算出线性部分 z = w1*x1 + w2*x2 + b,再套 Sigmoid。这里有个关键点:当 z 大于 0 时,Sigmoid 输出大于 0.5,模型判为正类;当 z 小于 0 时,输出小于 0.5,判为负类。所以 w1*x1 + w2*x2 + b = 0 这条线,就是模型的决策边界。
如果只有两个特征,决策边界是一条直线;三个特征是一个平面;更高维就是超平面。这也是逻辑回归的一个硬限制:它天生只能画“线性边界”。遇到数据在平面上的分布是圆形或者更复杂的形状,普通逻辑回归会很难受。解决办法是有的,比如构造多项式特征(给特征加平方项、交叉项),或者直接用 Kernel 化的模型,但那是后话。初学者先把线性边界理解透,后面学 SVM 或者神经网络时会有完全不同的体会。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 模型如何学习:损失函数与梯度下降
2.1 为什么不能用均方误差来训练
线性回归训练时用均方误差(MSE)作为损失函数,效果很好。逻辑回归能不能照搬?理论上可以算,但实践上非常糟糕,原因在于 Sigmoid 把线性输出压缩后,MSE 对参数的梯度变得很小,模型学得极慢。更致命的是,MSE 在这个场景下是非凸函数,梯度下降很容易陷进局部最优,达不到全局最优点。
逻辑回归用的是交叉熵损失(也叫对数损失)。单个样本的公式是:
text复制Loss = -[y * log(p) + (1 - y) * log(1 - p)]
其中 y 是真实标签(0 或 1),p 是模型预测的正类概率。直观理解:如果真实标签是 1
