1. 从“最简单的模型”读起:这一章为什么值得反复嚼
说实话,西瓜书第三章“线性模型”属于那种“翻开觉得容易、合上觉得没底”的章节。很多同学第一次过这一章,看到线性回归、最小二乘这些词,觉得不就是高中数学里的拟合直线吗?结果翻到后面,对数几率回归、线性判别分析、多分类学习、类别不平衡一个接一个砸过来,才发现“线性”两个字背后藏了一整套方法论。我当初读这一章的时候,前后花了两周,期间反复把公式抄了三遍,才敢说自己基本吃透了。
这一章的核心地位怎么强调都不过分——它是全书最基础、也是最完整的“模型学习闭环”样例。什么是闭环?就是从“模型假设”出发,定义“损失函数”,用“优化算法”求解,最后做“模型评估与改进”。后续讲决策树、神经网络、支持向量机,本质上都在重复这个闭环,只是换了一种假设、换了一个损失、换了一套优化方式。你要是能把第三章的“套路”拆明白,后面所有章节都会顺很多。
这篇笔记适合谁?适合正在啃西瓜书但被公式卡住的初学者,也适合学过一遍但觉得“懂了又没完全懂”的复习者。我会把第三章里容易忽视的推导细节、课后题里反复出现的陷阱、以及面试和实际应用中真正会考到的点,都摊开来聊一遍。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 内容整体设计与思路拆解
2.1 第三章在讲什么:一条主线,三种模型
第三章表面上是“线性模型”,但整章其实围绕一条主线展开:如何用属性的线性组合来预测输出?
书里先定义了线性模型的一般形式:
f(x) = w1x1 + w2x2 + ... + wdxd + b
简写成向量形式就是:
f(x) = w^T x + b
这个形式如此简单,以至于很多人会低估它。但仔细想想,线性模型的核心价值在于两点:
- 可解释性极强:每个w_i直接反映了对应属性xi对结果的影响方向和程度。这在金融风控、医疗诊断等需要“说清楚为什么”的场景里,是树模型和神经网络都替代不了的优势。
- 是复杂模型的基础:所谓“广义线性模型”的概念,说白了就是给线性输出套一个“联系函数”,让它能适配不同的预测任务。对数几率回归是套sigmoid,Softmax回归是套softmax。你掌握了“线性+联系函数”这个框架,后面看神经网络里每个神经元,本质上就是在做这件事。
沿着这条主线,第三章依次讲了三种情况:
- 线性回归:预测连续值输出,直接线性映射。
- 对数几率回归(逻辑回归):预测二分类概率,套一个sigmoid函数。
- 线性判别分析(LDA):一种“降维+分类”结合的经典方法。
另外还有两个贯穿性主题:多分类怎么用二分类模型组合实现,以及类别不平衡时怎么处理。这两个主题虽然放在章末,但实际应用里几乎一定会碰到,重要性不比前面的模型低。
2.2 为什么先从线性模型切入:我的理解
很多人问过我,西瓜书为什么不先讲决策树或者神经网络,而把线性模型放在第三章?
我的看法是:线性模型是“简单假设下的完整范例”。它用最简单的函数形式,把机器学习的基本流程演示了一遍——确定模型、确定损失、求解参数。这个流程你先在简单模型上跑通了,后面面对复杂模型时,大脑里就有了一个脚手架。
举个例子,神经网络里的反向传播,它的起点也是一个损失函数,然后对参数求梯度再更新。如果你在线性模型里就已经理解了“损失函数是模型训练的方向盘,梯度是方向盘的操作信号”,那么看神经网络的BP算法时,你就不是在学新东西,而是在看同一个思路的更复杂版本。
所以读这一章时,我建议你不要把注意力全放在“怎么求w”上,而是多问自己几个问题:为什么要用这个损失?这个损失函数有没有别的替代?模型求解的闭式解在什么条件下成立?这些问题想清楚了,你的机器学习才真正入了门。
3. 线性回归:最朴素的思路,最关键的细节
3.1 最小二乘的几何意义
西瓜书里线性回归主要讲的是最小二乘法,目标函数写为:
E(w,b) = Σ(yi - wxi - b)²
然后分别对w和b求导并令导数为零。闭式解的推导过程书里写得很清楚,但很多人只记住了公式,没理解背后的几何意义。
我换个通俗的说法:最小二乘本质上是在找一个直线,让所有样本点到这条直线的“竖直距离平方和”最小。注意是竖直距离,不是垂直距离。这一点很多人在可视化时容易画错。竖直距离对应的是“预测误差”,也就是我们关心的实际值与预测值的差;垂直距离对应的是“正交距离”,那是PCA(主成分分析)考虑的东西。目标不同,结果自然不会一样。
实际计算时,我们通常用向量化形式来做。令:
w_hat = (w; b),X是m行d列的特征矩阵,最后一列补全1对应偏置b
那么闭式解为:
w_hat = (X^T X)^{-1} X^T y
这里有个高频考点:**X^T X可逆的条件是什么?**答案是X的列满秩(即特征之间线性无关)。如果特征之间存在多重共线性,X^T X就是奇异矩阵,闭式解直接失效。这时候你用sklearn的LinearRegression去跑,可能会发现结果有警告或系数不稳定。处理方法书里没细提,但我会在后面讲正则化时补上。
3.2 为什么线性回归损失函数用均方误差
这个问题看起来简单,但背后有两个层面的解释。
第一个层面是优化角度:均方误差是凸函数,有唯一的全局最小值,求导方便,可以直接得到闭式解。相比绝对值误差在零点不可导的性质,MSE在求解上碾压性地友好。
第二个层面是概率角度:如果你假设噪声ε服从均值为0、方差为σ²的高斯分布,那么样本输出y = w^T x + ε就服从均值为w^T x、方差为σ²的高斯分布。用极大似然估计来推导,最后得到的损失函数恰好就是均方误差。所以,最小二乘等价于噪声服从高斯分布时的极大似然估计。这个结论我建议大家抄在本子上,面试时十有八九会问到。
3.3 极大似然视角:为什么要学概率和统计
刚才提到极大似然估计,这可能是本章第一个让数学基础薄弱的同学打怵的地方。我讲讲怎么理解它。
极大似然估计的核心逻辑是:**已经发生了的事件,应当具有最大的概率。**你在某组参数下,所有观测样本出现的联合概率(即似然)最大,那这组参数就是最合理的。
具体到线性回归,每个样本的预测值满足:
yi ~ N(w^T xi, σ²)
所有样本的似然函数是各个概率密度函数的连乘。因为连乘容易溢出、求导不方便,所以取对数变为连加,这就是“对数似然”。
