我投三分网上讲线性回归的教程多到能堆满一整个收藏夹，但大多数教程要么直接用NumPy手写梯度更新，要么三行sklearn代码跑完就收工，中间其实缺了一大块东西——你到底怎么用现代深度学习框架去落地一个最基础的机器学习算法。这篇是系列第八篇，我准备把基于PyTorch框架的线性回归从头到尾拆开揉碎讲一遍，包括数学原理、环境搭建、代码实现、以及我在实际调试中踩过的一些坑。适合刚学完Python基础、想从“调库”进阶到“理解框架”的读者，也适合那些机器学习期末考试前想快速把PyTorch流程过一遍的同学。
1. 线性回归的数学原理与框架选型逻辑
1.1 回归的本质：一条直线如何“学习”
线性回归要解决的问题说白了就是拟合。给你一堆x和对应的y，你想找到一条直线（高维情况下是一个超平面）来描述它们之间的关系。数学表达式就是y = wx + b，w是权重，b是偏置。机器学习的“学习”过程，就是不断调整w和b，让这条直线尽可能贴近所有数据点。
怎么衡量“贴近”？最常用的是均方误差（MSE）：
L(w, b) = (1/n) * Σ(y_i - (wx_i + b))²
很多新手一开始不理解为什么误差要平方，直接算绝对值不行吗？两个原因：第一，平方后能让大的误差被放大，模型会优先修正那些偏离特别远的点；第二，平方函数处处可导，绝对值函数在0点不连续，用梯度下降法优化时会碰到麻烦。
有了损失函数，问题就变成了“怎么找到一组w和b让L最小”。这时梯度下降法登场：想象你站在山坡上，看不清全局地图，只能靠脚下感受到的坡度判断方向。坡度就是梯度，你每次都沿着坡度最陡的方向往下走一小步，反复迭代就能到达山谷底部。数学上就是：
w ← w - lr * (∂L/∂w)
b ← b - lr * (∂L/∂b)
这里的lr是学习率，决定每一步走多远。∂L/∂w和∂L/∂b用手算也能推出来，但真实工程里模型动辄几百万个参数，手推梯度根本不现实。这正是我坚持用PyTorch来做这节入门实验的原因。
1.2 为什么偏偏选PyTorch而不选别的方式
拿线性回归举例，市面上至少有三种做法，我做了个对比：
| 实现方式 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| 手写NumPy | 手动推导梯度公式 | 对数学理解最深刻 | 代码冗余，扩展困难 |
| sklearn LinearRegression | 正规方程/最小二乘法 | 代码最少，一行搞定 | 没法平滑过渡到深度学习 |
| PyTorch | 自动微分 + GPU加速 | 接近真实工程，无缝衔接神经网络 | 需要额外学习框架 |
我自己的判断是：入门线性回归，如果你只是想知道结果，sklearn确实最快，两行代码出答案。但咱们这个系列的目标是“理解算法原理与实践”，最终要往深度学习方向走的。PyTorch帮你把最难的梯度计算自动化了，你只需要写前向传播逻辑，反向传播的梯度它自动算好。这就能让你把精力放在理解数据、构建模型、分析结果上，而不是陷在偏导数的泥潭里。
另外PyTorch的Tensor设计跟NumPy的ndarray几乎一致，学过NumPy的人上手几乎没有心理障碍。以后你学CNN、RNN、Transformer，也都是在这一套语法体系里。现在很多招聘JD上都写着“熟悉PyTorch优先”，从线性回归开始把框架基础打牢，后面会顺畅很多。
1.3 正规方程和梯度下降：两种“求最优”的思路
热词里有人搜“线性回归的正规方程解”，这里顺便对比一下。正规方程的思路是用矩阵运算一步到位：
w = (X^T X)^(-1) X^T y
只要X^T X可逆，一次矩阵运算就能算出最优参数，不需要迭代。听着是不是很完美？但问题在于矩阵求逆的计算复杂度大约是O(n³)，当特征数量达到几千甚至几万时，计算量是灾难级的。而且很多实际问题里X^T X是奇异矩阵（特征之间有强相关性），压根求不了逆。
梯度下降虽然要迭代很多轮，但每一轮的计算量只跟样本数乘以特征数成正比，可以轻松扩展到百万级数据量。更关键的是，深度学习框架里的优化器都是基于梯度下降思想设计的，你学会了梯度下降的迭代思维，后面看任何神经网络训练流程都会觉得很熟悉。这就是为什么PyTorch这类框架从一开始就围绕“计算图 + 自动求导”来设计，而不是给你提供一个直接求解析解的函数。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。