每次有人问我“机器学习从哪开始”,我给的答案都是线性回归。不是因为它简单,而是因为它足够透明——模型怎么学、学得怎么样、哪里出了问题,每一步都能拆开看清楚。很多人用Python调一行LinearRegression就完事了,但真到面试、写论文、做业务分析的时候,被问到“梯度下降更新公式怎么推的”“为什么用R²而不是MSE评估”,一下子就卡壳了。这篇就来手把手把线性回归从原理到代码过一遍,重点放在手写实现和实战中真正会踩的坑上,适合刚入门Python想学机器学习的读者,也适合那些调包调腻了、想搞清楚模型内部逻辑的人。
1. 线性回归:值得从调包回归到手写的第一课
1.1 为什么线性回归值得手写一遍
线性回归的历史可以追溯到19世纪,但直到今天它依然是很多工业场景的首选模型。原因很简单:可解释性强、计算成本低、对中小规模数据效果稳定。在银行做评分卡、在电商做销量预测、在工厂做良率分析,线性回归都是那个“先跑一遍看看”的模型。
但正因为sklearn一行就能调出来,很多人忽略了它内部的数学原理。线性回归本质上是在求解一个最小化残差平方和的参数估计问题,背后的数学工具是最小二乘法,而求解方式又分为闭式解和梯度下降两条路线。这两条路线分别对应了数值计算和优化理论两个方向,是后续学习岭回归、Lasso、逻辑回归、神经网络的基础。
我见过太多人跳过原理直接调包,结果遇到问题完全不知道从哪里排查。比如模型系数出现了异常的符号,比如预测结果对输入特征的尺度极其敏感,比如训练集表现很好但测试集一塌糊涂。这些问题如果你理解线性回归的推导过程,往往一眼就能看出来原因。所以这篇文章我想做的一件事,就是让原理和代码一一对应起来,让你看完之后不仅会调fit,还能自己在黑板上把公式写出来。
1.2 一个例子:房价预测里的线性回归
线性回归的经典例子是房价预测,我们用这个场景来建立直觉。假设你收集了一些房屋数据,包括面积、卧室数量、房龄等特征,目标是预测房价。最简单的线性回归模型长这样:
[
\hat{y} = w_1 x_1 + w_2 x_2 + w_3 x_3 + b
]
其中(x_1, x_2, x_3)是面积、卧室数量、房龄,(w_1, w_2, w_3)是每个特征的权重,(b)是偏置项(截距)。模型要做的,就是找到一组((w, b)),让预测值(\hat{y})和真实值(y)之间的误差尽可能小。
这里的“误差尽可能小”落到数学上,就是最小化误差平方和(SSE)。为什么用平方而不是绝对值?因为平方误差处处可导,方便求导优化;而且它对大误差的惩罚呈二次增长,会让模型更积极地减小大偏差。当然这也带来了对异常值敏感的缺点,后面我会谈到这个问题。
提示:线性回归的“线性”指的不是特征必须是一次的,而是指参数是线性的。你可以加入(x_1^2)、(x_1 x_2)这样的多项式特征,只要模型对参数(w)是线性的,它依然是线性回归。这个理解对后面做多项式回归和特征工程很重要。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 准备环境与样例数据:别在环境上浪费一小时
2.1 Python环境与依赖安装
做线性回归,Python环境必备的库其实就四个:numpy(数值计算)、pandas(数据处理)、matplotlib(可视化)、scikit-learn(用于和手写结果对比验证)。如果你还没装Python,去官网下载安装包时记得在第一步勾选“Add Python to PATH”,这个选项不勾,后面在命令行里输python会提示找不到命令,非常容易劝退新手。
装依赖我建议直接用pip,在终端里执行:
bash复制pip install numpy pandas matplotlib scikit-learn
如果你用的是Anaconda,那这几个库基本都预装了,打开终端或者Anaconda Prompt直接确认一下版本就行:
bash复制python -c "import numpy, pandas, matplotlib, sklearn; print('ok')"
一个常见的问题是环境冲突。我之前见过有人用pip install装了一堆包,后来跑深度学习框架时发现numpy版本不对,整个环境崩了。建议从开始就养成建虚拟环境的习惯:
bash复制python -m venv ml
