西瓜书线性模型全解析：从线性回归到类别不平衡的实战笔记

1. 从“最简单的模型”读起：这一章为什么值得反复嚼

说实话，西瓜书第三章“线性模型”属于那种“翻开觉得容易、合上觉得没底”的章节。很多同学第一次过这一章，看到线性回归、最小二乘这些词，觉得不就是高中数学里的拟合直线吗？结果翻到后面，对数几率回归、线性判别分析、多分类学习、类别不平衡一个接一个砸过来，才发现“线性”两个字背后藏了一整套方法论。我当初读这一章的时候，前后花了两周，期间反复把公式抄了三遍，才敢说自己基本吃透了。

这一章的核心地位怎么强调都不过分——它是全书最基础、也是最完整的“模型学习闭环”样例。什么是闭环？就是从“模型假设”出发，定义“损失函数”，用“优化算法”求解，最后做“模型评估与改进”。后续讲决策树、神经网络、支持向量机，本质上都在重复这个闭环，只是换了一种假设、换了一个损失、换了一套优化方式。你要是能把第三章的“套路”拆明白，后面所有章节都会顺很多。

这篇笔记适合谁？适合正在啃西瓜书但被公式卡住的初学者，也适合学过一遍但觉得“懂了又没完全懂”的复习者。我会把第三章里容易忽视的推导细节、课后题里反复出现的陷阱、以及面试和实际应用中真正会考到的点，都摊开来聊一遍。

2. 内容整体设计与思路拆解

2.1 第三章在讲什么：一条主线，三种模型

第三章表面上是“线性模型”，但整章其实围绕一条主线展开：如何用属性的线性组合来预测输出？

书里先定义了线性模型的一般形式：

f(x) = w1x1 + w2x2 + ... + wdxd + b

简写成向量形式就是：

f(x) = w^T x + b

这个形式如此简单，以至于很多人会低估它。但仔细想想，线性模型的核心价值在于两点：

• 可解释性极强：每个w_i直接反映了对应属性xi对结果的影响方向和程度。这在金融风控、医疗诊断等需要“说清楚为什么”的场景里，是树模型和神经网络都替代不了的优势。
• 是复杂模型的基础：所谓“广义线性模型”的概念，说白了就是给线性输出套一个“联系函数”，让它能适配不同的预测任务。对数几率回归是套sigmoid，Softmax回归是套softmax。你掌握了“线性+联系函数”这个框架，后面看神经网络里每个神经元，本质上就是在做这件事。

沿着这条主线，第三章依次讲了三种情况：

• 线性回归：预测连续值输出，直接线性映射。
• 对数几率回归（逻辑回归）：预测二分类概率，套一个sigmoid函数。
• 线性判别分析（LDA）：一种“降维+分类”结合的经典方法。

另外还有两个贯穿性主题：多分类怎么用二分类模型组合实现，以及类别不平衡时怎么处理。这两个主题虽然放在章末，但实际应用里几乎一定会碰到，重要性不比前面的模型低。

2.2 为什么先从线性模型切入：我的理解

很多人问过我，西瓜书为什么不先讲决策树或者神经网络，而把线性模型放在第三章？

我的看法是：线性模型是“简单假设下的完整范例”。它用最简单的函数形式，把机器学习的基本流程演示了一遍——确定模型、确定损失、求解参数。这个流程你先在简单模型上跑通了，后面面对复杂模型时，大脑里就有了一个脚手架。

举个例子，神经网络里的反向传播，它的起点也是一个损失函数，然后对参数求梯度再更新。如果你在线性模型里就已经理解了“损失函数是模型训练的方向盘，梯度是方向盘的操作信号”，那么看神经网络的BP算法时，你就不是在学新东西，而是在看同一个思路的更复杂版本。

所以读这一章时，我建议你不要把注意力全放在“怎么求w”上，而是多问自己几个问题：为什么要用这个损失？这个损失函数有没有别的替代？模型求解的闭式解在什么条件下成立？这些问题想清楚了，你的机器学习才真正入了门。

3. 线性回归：最朴素的思路，最关键的细节

3.1 最小二乘的几何意义

西瓜书里线性回归主要讲的是最小二乘法，目标函数写为：

E(w,b) = Σ(yi - wxi - b)²

然后分别对w和b求导并令导数为零。闭式解的推导过程书里写得很清楚，但很多人只记住了公式，没理解背后的几何意义。

我换个通俗的说法：最小二乘本质上是在找一个直线，让所有样本点到这条直线的“竖直距离平方和”最小。注意是竖直距离，不是垂直距离。这一点很多人在可视化时容易画错。竖直距离对应的是“预测误差”，也就是我们关心的实际值与预测值的差；垂直距离对应的是“正交距离”，那是PCA（主成分分析）考虑的东西。目标不同，结果自然不会一样。

实际计算时，我们通常用向量化形式来做。令：

w_hat = (w; b)，X是m行d列的特征矩阵，最后一列补全1对应偏置b

那么闭式解为：

w_hat = (X^T X)^{-1} X^T y

这里有个高频考点：**X^T X可逆的条件是什么？**答案是X的列满秩（即特征之间线性无关）。如果特征之间存在多重共线性，X^T X就是奇异矩阵，闭式解直接失效。这时候你用sklearn的LinearRegression去跑，可能会发现结果有警告或系数不稳定。处理方法书里没细提，但我会在后面讲正则化时补上。

3.2 为什么线性回归损失函数用均方误差

这个问题看起来简单，但背后有两个层面的解释。

第一个层面是优化角度：均方误差是凸函数，有唯一的全局最小值，求导方便，可以直接得到闭式解。相比绝对值误差在零点不可导的性质，MSE在求解上碾压性地友好。

第二个层面是概率角度：如果你假设噪声ε服从均值为0、方差为σ²的高斯分布，那么样本输出y = w^T x + ε就服从均值为w^T x、方差为σ²的高斯分布。用极大似然估计来推导，最后得到的损失函数恰好就是均方误差。所以，最小二乘等价于噪声服从高斯分布时的极大似然估计。这个结论我建议大家抄在本子上，面试时十有八九会问到。

3.3 极大似然视角：为什么要学概率和统计

刚才提到极大似然估计，这可能是本章第一个让数学基础薄弱的同学打怵的地方。我讲讲怎么理解它。

极大似然估计的核心逻辑是：**已经发生了的事件，应当具有最大的概率。**你在某组参数下，所有观测样本出现的联合概率（即似然）最大，那这组参数就是最合理的。

具体到线性回归，每个样本的预测值满足：

yi ~ N(w^T xi, σ²)

所有样本的似然函数是各个概率密度函数的连乘。因为连乘容易溢出、求导不方便，所以取对数变为连加，这就是“对数似然”。最大化对数似然，等价于最小化Σ(yi - w^T xi)²。

这个“先假设分布、再写似然、取对数、求极值”的流程，在本章的“对数几率回归”里还会用一遍。所以你现在花时间把它弄懂，是“一次投资，长期受益”。

3.4 正则化：书里埋下的伏笔

西瓜书在多元线性回归末尾提了一句“引入正则化”，但整体内容讲得很简短。这里我补充一个实操层面的理解。

正则化的作用一句话概括：给目标函数加一个惩罚项，限制参数的大小，防止过拟合或处理不可逆问题。

• 岭回归（L2）：损失函数加λ||w||²，即使X^T X不可逆，加上λI后也可逆。这是解决多重共线性问题最直接的手段。
• Lasso（L1）：损失函数加λ||w||₁，不仅防止过拟合，还会把部分系数压缩到0，天然具备特征选择能力。

在sklearn里你不需要自己推导，直接调用Ridge和Lasso类就行。但关键点是正则化系数λ怎么选。一般的做法是画一条“正则化路径”，横轴是λ的对数值，纵轴是各特征系数，看系数随λ的变化趋势，再结合交叉验证选最优值。我自己的习惯是先用RidgeCV或LassoCV自动筛一遍，再手动微调。

4. 对数几率回归：从线性到分类的桥梁

4.1 为什么线性回归不能直接做二分类

这是新手几乎必问的问题：既然要分类，我直接把类别当成数值0和1，用线性回归预测一个实数，再设个阈值比如0.5划分，不就行了吗？

理论上可以这么干，但实际效果很差。原因有三：

• 线性回归的输出范围是(-∞, +∞)，你没法解释它为“概率”。预测值可能是-0.3，这是一个没有概率意义的结果。
• 线性回归对“错误分类”不敏感。比如真实类别是1，预测值是100和预测值是1.5，损失差异巨大，但从分类角度两者都只是“分对了”。换句话说，回归的损失函数衡量的是“数值偏差”，而不是“分类正确性”。
• 数据分布稍微复杂一点，线性回归的决策边界会被远处的极端样本严重带偏。

所以你需要在线性输出外面套一个“压缩函数”，把输出值压到(0,1)区间内，这就是sigmoid函数：

y = 1 / (1 + e^(-z))，其中z = w^T x + b

4.2 Sigmoid函数为什么长这样：从几率到对数几率

书里举了一个“对数几率”的角度来推导sigmoid，我刚读时觉得绕，后来想明白后发现这个视角其实非常优雅。

先定义“几率”（odds）：一个事件发生的概率p与不发生的概率1-p的比值p/(1-p)。如果p>0.5，几率大于1；如果p=0.9，几率是9。这个几率的变化范围是(0, +∞)，依然不对称。

再取对数，得到“对数几率”：

ln(p/(1-p))

这个值的范围是(-∞, +∞)，恰好适合用一个线性模型去拟合。于是我们假设：

ln(p/(1-p)) = w^T x + b

把这个式子反解p，就得到：

p = 1 / (1 + e^(-(w^T x + b)))

看到了吗？sigmoid不是天上掉下来的，而是“让线性模型去拟合对数几率”的自然结果。这也是为什么西瓜书把逻辑回归叫做“对数几率回归”——它本质上是在回归“对数几率”，只是最终预测的结果是概率而已。

4.3 对数几率回归的参数求解步骤

这一节要从极大似然估计的角度写，是第三章里面最长的推导流程之一。我把步骤拆开整理成可复用的操作清单（这个清单适用于大量带参数的模型训练）：

1. 设正类概率为p = P(y=1|x)，则P(y=0|x) = 1-p。
2. 写出单个样本的概率表达式，用一个小技巧统一两类情况：P(yi|xi) = pi^yi * (1-pi)^(1-yi)。
3. 写出所有样本的似然函数：L(w,b) = Π P(yi|xi)。
4. 取对数，把连乘变成连加。此时对数似然函数是：
   ℓ(w,b) = Σ[yi * ln(pi) + (1-yi) * ln(1-pi)]
5. 将pi替换为sigmoid表达式，通过代数变换，得到最终的等价形式（每项整理成ln(1+e^(-z))这种形状）。
6. 最大化对数似然，等价于最小化ℓ(w,b)的负值。这个负对数似然就是我们的损失函数，通常写成：
   L = -Σ[yi * ln(pi) + (1-yi) * ln(1-pi)]
   这就是交叉熵损失。
7. 由于该函数没有闭式解，需要用梯度下降、牛顿法或拟牛顿法迭代求解。

你可以看到，整个流程和线性回归的极大似然推导几乎是一模一样的骨架，只差在“联系函数”上。这就是为什么我在前面强调广义线性模型的框架。一旦你把这个框架刻在脑子里，再学其他分类模型时会快很多。

4.4 梯度下降到底在干什么

到了对数几率回归这里，闭式解已经不存在了，我们必须依赖迭代求解。很多初学者在这里卡住，是因为概念上一直绕不过弯。

我用一个不严格但直观的类比：**梯度下降就像一个人在山里摸黑下山。**你不需要知道整座山的地形（那相当于全局最优解），你只需要感知脚下最陡的方向（梯度方向），然后顺着这个方向迈一小步（学习率），再重新感知方向，再迈一步，反复迭代直到到达最低点附近。

数学形式上，参数更新规则是：

w = w - η * ∂L/∂w

其中η是学习率。学习率设太大，可能一步跨过最低点甚至发散；设太小，迭代速度会很慢。实际做的时候，我一般先用一个较大的学习率（如0.1）观察损失下降趋势，再逐步调小。这里有一个我自己当时踩过的坑：不要只看损失有没有下降，还要看下降速度是否逐渐变慢，后者是接近收敛的正常信号；如果损失一直在震荡，那大概率是学习率太大了。

另外，在实际深度学习框架中，你不需要手动推导梯度，优化器会自动完成。但理解梯度的来源和方向，对调试模型仍然极其重要。我自己平时排查训练异常时，第一步总是去看梯度范数是不是爆了或者趋于零，这习惯就是读第三章时养成的。

5. 线性判别分析：降维视角下的二分类

5.1 LDA的核心思想：类间离散、类内紧凑

线性判别分析（LDA）可能是第三章里最容易被忽视、但面试时最容易翻车的模型。它的核心思想一句话概括：找一个投影方向w，让同类样本投影后尽可能集中，让不同类样本投影后尽可能分开。

投影是线性代数里的概念，但我们可以用“影子”来理解：想象你拿一个手电筒从某个角度照三维物体，物体在墙上留下一个二维影子。不同的照射角度，影子的形状不一样。LDA就是在所有可能的“照射角度”里，选一个让两个类别的影子最容易被区分开的角度。

数学定义上，我们用两个量来衡量：

• 类内散度矩阵Sw：度量同类样本之间的分散程度。
• 类间散度矩阵Sb：度量两类样本中心之间的远离程度。

目标是最大化：

J(w) = w^T Sb w / w^T Sw w

这个比值就是广义瑞利商。它的妙处在于，求解w不需要穷举所有方向，而是可以通过数学推导直接求出一个最优解，即w = Sw^(-1)(μ0 - μ1)。这里的μ0和μ1是两个类别的均值向量。

5.2 LDA和PCA的区别：有监督与无监督

很多同学学完LDA后会和PCA混淆。我讲一个最本质的区别：PCA是无监督的，它找的是“数据方差最大的方向”，完全不看类别标签；LDA是有监督的，它找的是“类别可分性最强的方向”，必须使用标签。

打个比方：PCA像是“尽量保留一场考试的总分排名信息”，哪怕你知道所有人成绩，但不知道谁属于什么组；LDA像是“找到一个最能区分‘保研组’和‘考研组’的科目组合加权方式”，它的目标不是保留信息，而是让两组人分开。

实际应用中，LDA既可以作为分类器直接使用，也可以作为降维手段为其他模型提供预处理。在sklearn里，LinearDiscriminantAnalysis类同时支持这两种用法，你可以设置n_components参数来控制降维后的维度。

5.3 从二类到多类：LDA的推广

西瓜书里对多分类LDA的数学推导给得比较紧凑，我补充一个直观的理解。

多类LDA的思想是：把二类情况下的“类间距离”推广为“全局类间散度”。具体做法是计算所有类的总体均值，然后衡量每个类的均值与总体均值的偏离程度，按类样本数加权求和。这个结果是一个矩阵，维度是特征维度d×d。

然后，多类LDA的求解变成：找到一个投影矩阵W（由多个投影向量组成），使得投影后的数据在“类间尽可能分散、类内尽可能集中”的意义下最优。数学上等价于对矩阵Sw^(-1)Sb做特征值分解，取最大的若干特征值对应的特征向量。

这里有个实际使用中的建议：LDA降维后，维度最多只能是类别数减1。比如二分类最多降到1维，三分类最多降到2维。这个限制来自矩阵的秩分析。很多人不知道这个边界，降维时设了过高维度，代码直接报错。

6. 多分类学习：组合策略的三种套路

6.1 OvO、OvR、MvM：你该怎么选

第三章后半部分讲多分类。基本思路是“拆解法”：把多分类拆成若干个二分类问题，分别训练二分类器，再在预测时用某种策略组合结果。书里介绍了三种：

• 一对一（OvO）：假设有N个类别，每两个类别训练一个分类器，总共N(N-1)/2个。预测时新样本输入所有分类器，投票决定最终类别。N=10时，需要45个分类器。
• 一对其余（OvR）：每次把一个类作为正类、其余所有类作为负类，N个类别训练N个分类器。预测时选择输出置信度最高的那个分类器的类别。N=10时，只需要10个分类器。
• 多对多（MvM）：每次取若干个类作为正类、若干个类作为负类，最经典的是“纠错输出码”（ECOC）。

选哪种？我的经验是：当类别数不多（比如小于10）时，OvR用的最多，因为分类器数量少、训练快。当类别数很多时，OvO更常用，因为每个二分类问题只用到两类数据，训练成本低，而且类别不平衡的影响更小。但需要权衡的是，OvO需要存储N(N-1)/2个分类器，推理时也慢一些。

6.2 纠错输出码的核心价值：容错性

ECOC（纠错输出码）是我认为本章思想最巧妙的部分，但考试和面试里容易被一带而过。它的做法是：

1. 为每个类别分配一个长度为L的编码（常见是+1和-1组成的行向量）。
2. 训练L个二分类器，第i个分类器的任务就是预测样本的编码第i位是正还是负。
3. 预测时，L个分类器输出一个编码，然后和每个类别的编码算海明距离，选距离最近的类别。

这个设计的精华在于：即使某个二分类器预测错了，只要错误位数没有超过纠错能力范围，最终结果仍然是正确的。这就像你把一句话重复说给多个人听，最后投票，个别传达错误不影响整体理解。

实际应用里，ECOC还允许编码矩阵的列有冗余，增加纠错能力。但代价是训练成本上升。如果你刚入门，可以先不用深究具体编码构造方法，先把“人为引入冗余来提升鲁棒性”这个思想理解透。

6.3 多分类的类别不平衡陷阱

多分类问题里，类别不平衡比二分类更隐蔽。比如一个10分类问题，某个类只占全部样本的1%，另一个类占20%，如果你用OvR，那么对于“1%的那个类”对应的二分类器，正负样本比高达1:99，模型很容易把所有样本都判为负类。

我在实际处理多分类不平衡问题时，常用的办法有三类：

• 数据层面：对少数类做SMOTE过采样，或对多数类做随机下采样。
• 算法层面：在损失函数里给不同类别的样本加权，让少数类样本的误差惩罚更大。
• 评价层面：不用accuracy，改用macro-F1或加权F1，因为accuracy在极度不平衡时会被多数类支配。

书中在类别不平衡小节里讲的主要是二分类下的“再缩放”策略（即把预测阈值从0.5调整为正负样本比例的比值），但思路完全可以直接迁移到多分类场景。

7. 类别不平衡：一个容易被忽略的关键问题

7.1 再缩放策略的推导：为什么阈值不是0.5

西瓜书里提了一个很经典的结论：当正负样本比例失衡时，不应该用0.5作为分类阈值，而应该用m+/(m++m-)作为参考阈值，这里的m+和m-分别是训练集中正类和负类样本数。

推导逻辑其实特别简单。回想我们之前说的“几率”概念。模型预测的y/(1-y)是预测出的正负概率比值，它是在训练数据分布下得出的。但真实场景中，正负样本的先验分布可能和训练集不一致。让我们希望最终决策时，预测几率要大于真实正负样本的比值才能判为正类：

y/(1-y) > m+/(m-)

所以阈值不再是0.5，而应该向上或向下调整。操作上，如果不想改模型的重训，可以直接在做预测时调整决策阈值。比如正类很少，阈值就要调低，否则模型会把所有样本都放到负类。

书里给的“再缩放”公式是：

y'/(1-y') = y/(1-y) * (m-)/(m+)

本质上就是把训练集的先验比例“掰回”真实比例。这个操作在sklearn里对应class_weight='balanced'，但很多人只当它是一个开关，不清楚它到底改了啥——改的是损失函数里每个样本的权重，让少数类的损失被放大。

7.2 过采样与欠采样：两种思路的取舍

当类别不平衡非常严重（比如1:100），只调阈值通常不够，因为模型本身压根没有学到少数类的有效特征。这时需要从数据层面动手。

• 过采样：复制少数类样本，或者用SMOTE在少数类样本之间插值生成新样本。优点是保留全部多数类信息，缺点是训练集变大，且可能过拟合少数类。
• 欠采样：随机丢弃多数类样本，使两类数量接近。优点是训练快，缺点是可能丢失多数类的重要信息。

我自己的经验是：先用SMOTE过采样，再配合交叉验证观察是否过拟合。如果过拟合迹象明显，再改成“多轮欠采样集成”——每次随机丢弃不同的多数类样本，训练多个模型，最后投票。

7.3 阈值移动的实际操作示例

假设你训练了一个逻辑回归模型，默认阈值是0.5，正类只占训练集的10%。现在你希望模型在真实场景（正类占50%）也能表现不错。

一个简单操作：预测时不做“概率>0.5判正”的硬判决，而是计算调整后的概率：

p_adjusted = p / (p + (1-p) * (m-)/(m+))

然后和0.5比较。

或者等价地，直接找一个更低的阈值。怎么找？画PR曲线或ROC曲线，然后选一个同时满足“查准率不太低、召回率不太低”的阈值。很多分类器（如sklearn的predict_proba）都能输出概率，所以阈值移动实现起来非常便宜，只是很多人不知道这个思路而已。

7.4 类别不平衡问题的本质

最后说一句理解层面的总结。类别不平衡的本质是：**训练分布和测试分布不一致。**模型在训练时看到的正样本太少，所以它学到的最优策略就是“都判负”。如果你能想办法让训练分布更接近测试分布（重采样、加权、合成样本），问题就在根源上被缓解了。

这个认知很重要，因为实际项目里数据总是脏的、偏的。你在Kaggle上看到的那些“调个阈值就提升F1”的操作，本质上都是在修正分布不一致。理解了这一点，你就不只是会套API，而是真的理解了问题。

8. Python实战：用sklearn复现西瓜书第三章关键模型

8.1 数据准备：为什么不用sklearn自带数据集

很多人学机器学习喜欢直接用sklearn自带的乳腺癌、鸢尾花数据集。这些数据集确实方便，但有一个问题：它们太“干净”了，特征已经标准化得差不多，类别也比较均衡。学第三章的时候，我建议你“自造”一份带噪声、带线性可分边界、带类别不平衡的数据集，这样你能直观看到模型之间的差异。

我自己写过一个生成二分类数据的模板，核心逻辑是：

• 用numpy的random生成两个不同中心的高斯分布点云。
• 给特征加上噪声。
• 把一部分样本从少数类里“扔掉”，模拟不平衡。

这样生成的数据，你可以同时体验线性回归、逻辑回归、LDA的效果，还能直观感受不平衡处理前后的差别。

8.2 线性回归与逻辑回归的代码骨架

线性回归在sklearn里只需要两行核心代码：

python复制from sklearn.linear_model import LinearRegression
model = LinearRegression()
model.fit(X_train, y_train)

默认参数下，LinearRegression求解用的是最小二乘的闭式解。如果特征很多或存在共线性，你需要改成Ridge或者Lasso：

python复制from sklearn.linear_model import Ridge, Lasso
ridge = Ridge(alpha=1.0)
ridge.fit(X_train, y_train)

逻辑回归同样简单：

python复制from sklearn.linear_model import LogisticRegression
clf = LogisticRegression(class_weight='balanced', max_iter=1000)
clf.fit(X_train, y_train)

这里有三个参数值得你逐一说清楚：

• class_weight='balanced'：让模型自动根据类别频率调整样本权重，对应我们前面讲的阈值移动思想。
• max_iter=1000：默认通常是100，如果数据没归一化，迭代可能不收敛，经常见到警告。调大或用标准化预处理。
• solver：默认是lbfgs，适合中小型数据。如果你的数据量很大，可以换saga。

我用这个模板跑过西瓜书课后题的简化版本。强烈建议你做一个实验：生成一份正样本只有5%的数据，分别用class_weight默认和balanced训练两个模型，对比它们的precision、recall、F1，你会有非常直观的体感。

8.3 LDA实战与可视化

LDA的sklearn实现同样简洁：

python复制from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
lda = LinearDiscriminantAnalysis()
lda.fit(X_train, y_train)

如果你想用LDA做降维，需要设置n_components：

python复制lda = LinearDiscriminantAnalysis(n_components=1)
X_lda = lda.fit_transform(X_train, y_train)

这里有个实际坑：LDA要求特征数量不能大于样本数量（严格说是Sw的秩不要退化），否则协方差矩阵不可逆，会报错。如果你遇到“Variables are collinear”的警告，先检查特征数量和数据量，或者对特征做PCA预处理。

可视化是理解LDA的最佳方式。把训练数据投影到LDA方向后画直方图或一维散点图，你能清楚看到两个类别在投影后分布的重叠程度。这种“先动手做、再回来看公式”的学习路径，比硬啃公式效率高得多。

8.4 模型评估：只看accuracy会骗人

在类别不平衡场景下，accuracy是最不靠谱的指标。比如正类只有5%时，一个“全猜负”的模型accuracy就是95%，看起来很高，但实际毫无用处。

我建议你形成一套固定的评估组合：

• 二分类不平衡：用precision、recall、F1、AUC-ROC、PR曲线。
• 多分类：用macro-F1或加权F1。
• 回归：用MSE、MAE、R²。

sklearn里一次算多个指标很方便：

python复制from sklearn.metrics import classification_report, roc_auc_score
print(classification_report(y_test, y_pred))
print(roc_auc_score(y_test, clf.predict_proba(X_test)[:,1]))

你学第三章也许觉得多分类和类别不平衡只是“附属内容”，但实际做项目时，这两块才是决定模型能不能上线的关键。

9. 常见问题与排查技巧实录

9.1 为什么Sigmoid输出不是0或1

初学逻辑回归时，我试过打印模型输出，发现概率值分布在0.1到0.9之间，从没接近过0或1，一度觉得模型“太弱了”。

后来想明白：**sigmoid的输出是由z = w^T x + b决定的，而w和b是有限值，所以z不可能跑到无穷大，概率自然也不会变成绝对的0或1。**这恰恰是逻辑回归的优点——它给出的是“置信度”，而不是“硬分类”。

当你需要硬分类时，才用阈值去切分。如果概率值普遍集中在0.4到0.6之间，说明特征对类别的区分度不够，需要做特征工程而不是调模型。这是我调模型时很重要的一条经验。

9.2 梯度不收敛时先检查什么

当你自己实现梯度下降（算是课后题常见练习）时，发现损失不降反升，第一个检查点不应该是学习率，而是梯度方向是不是算错了。

我自己犯过的错误是：把导数公式里的某一项符号写反了，结果损失一路飙升。排查方法很简单：写一个数值梯度检查函数。

python复制def numerical_gradient(f, x, eps=1e-6):
    grad = np.zeros_like(x)
    for i in range(len(x)):
        x_plus = x.copy(); x_plus[i] += eps
        x_minus = x.copy(); x_minus[i] -= eps
        grad[i] = (f(x_plus) - f(x_minus)) / (2*eps)
    return grad

当你实现的解析梯度与数值梯度在多个随机点上都能对上（相对误差在1e-5左右），基本可以确认公式没写错。之后再调学习率。

9.3 特征尺度不一致导致的问题

线性模型对特征尺度很敏感。如果特征A范围是0到1，特征B范围是0到100000，那么B对应的权重w会被压缩得极小，而A的权重会被放大，模型解释性直接崩坏。

处理方式有两种：

• 标准化：让每个特征均值为0、方差为1，适合逻辑回归、LDA等大多数线性模型。
• 归一化：把特征缩放到[0,1]，适合有明确边界的特征。

在sklearn里用StandardScaler或MinMaxScaler两行搞定。关键点是：先用训练集fit，再用同一个scaler去transform测试集。千万不要对测试集单独fit，否则测试数据的分布会泄露进预处理，你评估出来的指标会虚高。这是新手最容易犯的错误。

9.4 西瓜书课后题的价值：我怎么做

第三章课后题里，我个人觉得最值得做的是这几道：

• 3.3（编程题）：用逻辑回归实现二分类。建议不要直接调sklearn，自己写梯度下降，体会完整的训练流程。写完后用sklearn交叉验证结果，误差在可接受范围内，你对梯度下降的理解才算过关。
• 3.5（编程题）：实现LDA并做可视化。这篇文章说的LDA原理，你亲手实现一遍会记得更牢。
• 3.1和3.2（概念题）：主要考察最小二乘推导和多元线性回归的闭式解，建议手推。

做课后题时，我有个习惯：先合上书写推导，卡住超过10分钟再翻书。很多公式，你眼睛看懂了和手能推导出来，完全是两码事。

9.5 常见问题速查表

10. 学习线性模型的几点个人体会

整个第三章读下来，我最大的感受是：**不要被“线性”两个字骗了。**线性模型不意味着“简单”或“过时”，它是一种结构清晰、理论完备、可解释性极强的模型家族。很多非线性的复杂问题，在合适的特征工程和联系函数配合下，用线性模型就能解决得很好。

我后来在真实项目里遇到过一个小问题，用深度神经网络试了一堆结构，效果反而不如一个加了特征交叉的逻辑回归模型。那一次经历让我彻底明白：再花哨的模型，如果数据中有效信息不够，或者你没法解释模型为什么这么预测，它在生产环境里的价值就是打折扣的。

所以如果你正在读这一章，我建议你放慢节奏，把每个公式亲手推一遍，把每个模型用小数据集跑一遍，把每个案例的为什么想清楚。机器学习的知识体系这么庞杂，但你看完这本书再回头看，会发现无数概念的源头都能追溯到这一章的线性模型。

最后再分享一个小技巧：学这一章时，把“线性回归、逻辑回归、LDA”三个模型放进一张表格，对比它们的假设、损失函数、求解方式、适用场景，贴在书桌前面。这张表既是考前的速查工具，也是你建立机器学习知识体系的第一块基石。