聊到逻辑回归,很多初学者第一反应是“回归?那不是预测连续值的吗,怎么用在分类上”。这个疑惑我当年也有,实际把它跑通一遍之后才理解,逻辑回归本质上是“用回归的思路解决分类问题”,只不过在输出层加了一道关卡,把连续分数压成0到1的概率。它简单、可解释、训练快,是分类任务里最值得先啃下来的模型之一,也是后面学神经网络、Softmax分类的天然跳板。
这篇文章会把逻辑回归的核心原理、损失函数、代码实现和可视化全部串起来,用Python示例一步步跑通,面向完全没接触过这个模型的初学者。你不需要有深厚的数学底子,只要会基础的Python和一点NumPy/Matplotlib,就能跟着复现整个过程。我会把每个关键步骤的“为什么”也讲清楚,比如为什么用sigmoid、为什么损失函数长那个样子、为什么特征要缩放,这些才是面试和实际项目中真正卡人的地方。
1. 逻辑回归解决什么问题:从线性回归到分类边界
1.1 为什么线性回归不适合分类任务
先用最直白的方式理解这件事。线性回归做的事情是拟合一条直线(或超平面),让预测值和真实值之间的误差尽量小,输出是连续数值。比如预测房价,输出30万、50万、80万都可以,这没问题。但如果把同样的思路用在分类上,比如根据肿瘤大小判断是良性还是恶性,我们把良性标为0、恶性标为1,然后用线性回归去拟合,问题立刻就出现了。
模型会为了减少误差,在训练样本上尽量贴近0和1这两个点,但一旦来了一个特别大的输入值,预测结果可能是1.8或者-0.3,这个数值根本没有概率含义。更麻烦的是,线性回归对异常点非常敏感。比如一群良性样本分散在0附近,某个良性样本恰好特别大,拟合直线会被拖过去,导致原本应该很清晰的判别边界整体偏移,分类效果直接崩掉。这就是为什么分类问题需要把输出“卡”在一个范围里。
1.2 Sigmoid函数与概率输出
逻辑回归的核心做法是:先算一个线性组合,再通过一个sigmoid函数把结果映射到(0,1)区间。这个过程的公式长这样:
z = w1x1 + w2x2 + ... + wn*xn + b
p = 1 / (1 + e^(-z))
sigmoid函数的形状是一条S形曲线,x轴任意实数进来,y轴输出永远在0到1之间。当z很大时,p趋近于1;当z很小时,p趋近于0;当z等于0时,p正好是0.5。这个0.5在很多场景下就是默认的分类阈值:p大于等于0.5判为正类,小于0.5判为负类。
从直觉上讲,sigmoid帮我们把一个“分数”翻译成了“概率”。线性部分负责学习特征和输出之间的权重关系,sigmoid负责把这个实数分数转成可以解释的概率。这一点在业务落地中特别重要,因为很多时候我们不只是想知道“是或否”,更想知道“有多大把握”。比如风控场景,同样判为高风险,概率80%和概率60%对应的处理策略可能完全不同。
1.3 决策边界:模型到底学到了什么
把逻辑回归可视化的最佳方式就是看决策边界。对二分类来说,决策边界就是模型把样本分成两类的分界线。因为是线性模型,逻辑回归学出来的边界一定是直线(二维情况下)或超平面(高维情况下)。这也决定了它的上限:如果两类样本在原始特征空间里严重非线性可分,逻辑回归的表现会非常吃力。
但这不代表逻辑回归不能处理非线性问题。实际项目中常用两种办法:一是做特征工程,比如加入特征之间的乘积项、平方项,让原始空间升维;二是用核技巧,把输入映射到更高维空间。不过对初学者来说,更重要的是先在二维数据上把决策边界的样子看明白,理解“权重w决定了边界的朝向,偏置b决定了边界的位置”这个直觉。后面看三维、高维内容时,底层逻辑完全一样。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 损失函数与优化原理:逻辑回归为什么这样训练
2.1 最大似然估计与交叉熵损失
初学者第一次看到逻辑回归的损失函数时,很容易被那个带对数的公式吓到。其实它背后的逻辑特别朴素:我们希望模型给出的预测概率,在真实标签上的取值尽可能大。举个例子,某样本真实标签是1,模型预测它是1的概率是0.9,那这个预测就比0.6好。反过来,真实标签是0,模型预测它是1的概率是0.3,那也比0.7好。
把这种想法形式化,就得到了最大似然估计。对二分类来说,一个样本的似然可以写成:
似然 = p^y * (1-p)^(1-y)
当y=1时,似然就是p;当y=0时,似然就是1-p。把所有样本的似然乘起来,再取对数把乘法变成加法,最后习惯性加个负号变成最小化问题,就得到交叉熵损失:
L = - [ y*log(p) + (1-y)*log(1-p) ]
这个损失函数有一个很好的性质:当预测结果越离谱,惩罚越大。比如真实标签是1,模型预测概率是0.99,损失很小;预测概率是0.01,损失直接爆表。这种“错得越离谱罚得越狠”的特
