1. 线性模型的设计思路拆解
1.1 为什么入门机器学习要先啃线性模型
拿到《机器学习》(西瓜书)第三章,开篇就是线性模型。我在第一次刷这本书的时候也有点困惑:深度学习、神经网络这么火,上来啃一个“线性的”东西,是不是有点过时了?后来踩了一圈工业界的坑才明白,线性模型真正牛的地方在于三个字:可解释。
你在实际业务里跑一个RNN或者Transformer,决策树一上就是几十层,模型是准了,但业务方问你“这个用户为什么被判定为高风险?”你说不出来,只能摊手。但换成线性模型,每个特征的权重w就是明晃晃的证据:收入每降低一个档位,风险分数上升0.3。这种透明度和可解释性,在金融风控、医疗诊断、电商信用分这些领域是不可让步的硬需求。这也是为什么我一直跟初学者说,别一上来就追深度学习,先把线性模型吃透,后面看神经网络你会突然发现,很多结构就是在线性模型外面套了一层非线性激活函数。
线性回归作为线性模型里最基础的成员,用途极广。它做预测、做基线、做特征筛选,甚至在深度学习项目里也经常被拿来做baseline——如果线性模型已经能跑出95%的效果,那你上复杂模型之前就得先掂量一下,那5%的提升值不值得付出数倍的训练和调参成本。这章节的内容不只是讲公式,而是在教你一套“如何用最简单的数学结构描述数据规律”的思维方式。
1.2 基本形式里的数学直觉
线性模型的基本形式写出来非常简洁:
f(x) = w1*x1 + w2*x2 + ... + wd*xd + b
其中x是样本的特征向量,w是权重(weight),b是偏置(bias)。写成向量形式就是:
f(x) = w^T * x + b
我第一次看到这个式子,觉得它简单到有点“不够看”。但后来在做特征工程的时候才意识到,这个形式本身就包含了巨大的设计空间。它把复杂的预测问题分解成了“每个特征的独立贡献叠加”,每个w的绝对值大小直接反映了该特征对最终结果的影响强度。特征之间的交互项统统没有,这意味着模型只关注“主效应”。
举一个生活化的例子:你要估算一套房子的价格。线性模型学的就是——地段评分每涨1分,房价涨5万;面积每增加1平米,房价涨0.8万;房龄每增加1年,房价跌1.2万。最终价格就是这些影响叠加起来,再加上一个基础价格b。没有“好地段的大户型会不会有溢价”这种交互效应。这既是线性模型的局限,也是它轻便、不易过拟合、容易解释的根源。
在西瓜书里,作者用一个相当简洁的框架把这章的内容串起来:线性回归解决“连续值预测”,对数几率回归解决“二分类”,线性判别分析则是从“降维+分类”的角度切入,最后再讨论多分类学习与类别不平衡问题。本章的知识密度相当高,值得逐字推敲。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 线性回归:从最小二乘到矩阵解法
2.1 损失函数到底在做什么
线性回归最经典的目标函数是均方误差(Mean Squared Error, MSE)。公式是:
E(w, b) = Σ(yi - f(xi))²
为什么要用“差的平方”而不是“差的绝对值”?我在给新人讲这个点时,会问一个看似无关的问题:你更在意预测差5块还是差10块?差别当然是5块。但如果一组预测的总误差相同,平方损失会惩罚那些“偏差特别大”的个体——差1和差9,平方后是1和81,绝对值和是10,而平方和是82。模型会拼命把那个差9的样本拉回来,因为它的“代价”更大。
从统计学的角度更严谨地说,如果我们假设噪声服从高斯分布,那么最小化均方误差就是最大似然估计的等价形式。这一点是西瓜书的推导核心之一。用大白话讲:在“误差是随机、独立、服从正太分布”的前提下,你去最小化平方误差,得到的w和b就是“最可能产生这批观测数据”的参数组合。数学上绕了一圈,最终殊途同归。
具体求解过程有两种路线。一种是解析解——直接用最小二乘法闭式求解;另一种是迭代解——用梯度下降一步步逼近。我建议初学者两条路线都亲手推一遍,因为前者让你看清问题的本质,后者让你理解深度学习时代所有优化算法的起点。
2.2 矩阵形式的推导与代码实现
当特征维度变成多个,也就是多元线性回归时,我们可以把所有样本堆叠成矩阵:
X = [[x11, x12, ..., x1d, 1], [x21, x22, ..., x2d, 1], ..., [xm1, xm2, ..., xmd, 1]]
注意这里最后一列加了一个1,目的就是把偏置b吸收到权重向量里,把问题简化成w^T*x的形式。这个trick在后续很多模型里都能看到,非常常用。
目标函数写成矩阵形式:
min ||Xw - y||²
对w求导并令导数为零,得到:
w* = (X^T X)
