单变量线性回归深度拆解：代价函数、梯度下降与Python实现

吴恩达的机器学习课程我刷过不止一遍，第二讲“单变量线性回归”看起来是最基础的一课，很多人一天就能看完，甚至直接跳过。但说实话，这一讲是整个课程里信息密度被严重低估的地方。你后面学的所有东西——逻辑回归、神经网络、SVM——本质上都是在重复这一讲建立起来的三板斧：假设、代价函数、梯度下降。如果第二讲的理解停留在“哦，就是拟合一条直线”，那后面很多坑你会踩得不明不白。

这篇东西我不按课程顺序复述，而是把第二讲里真正值得抠的东西拆开讲，包括h(x)这种记号为什么要写成θ₀+θ₁x、代价函数为什么非要除以2m、梯度下降的两个偏导数到底怎么推出来的、学习率和特征缩放对收敛的实际影响有多大。最后再给出一段可以从零跑通的Python实现和课程期末复习时容易漏掉的细节。适合在看课程视频但感觉公式跟不上的人，也适合期末复习需要把逻辑串起来的人。

1. 假设空间的语义拆解：一条直线到底在表达什么

1.1 为什么第二讲从“单变量”开始

单变量线性回归，英文是Linear regression with one variable，也叫单特征线性回归。所谓单变量，就是输入特征只有一个维度。课程里用的是波特兰房价的例子，横轴是房子面积，纵轴是成交价格。但要注意，这里的“单变量”说的是特征只有一个，不是模型参数只有一个，这一点特别多人混淆。

第二讲故意选最简陋的模型，是因为它把所有核心机制都压缩在一个场景里，变量越少，你越能看清楚梯度下降每一步在做什么。等到了第三讲多变量情况出现，你发现公式从h(x)=θ₀+θ₁x变成h(x)=θ₀+θ₁x₁+θ₂x₂+...，本质没有任何区别，只是从一条直线升维成了一个超平面，更新参数的逻辑完全一样。看懂了单变量，多变量只是加循环的事。

1.2 θ₀和θ₁分别控制什么，以及参数空间如何映射成直线族

课程里定义的假设函数是：

h(x) = θ₀ + θ₁x

这个式子的语义要拆成两层。第一层是模型结构：它假设因变量y和特征x之间是线性关系。第二层是参数语义：θ₀是截距，决定了直线在y轴上的位置；θ₁是斜率，决定了x每增加一个单位，预测值y改变多少。

我说一个经常被忽略的点：θ₀和θ₁所张成的不是一条直线，而是整个“直线族”。如果你把θ₀和θ₁当作两个坐标轴，这个二维平面里的每一个点都对应着唯一一条直线。学习过程，就是在平面上找一个位置，让对应直线尽可能贴合训练数据。这个“参数平面”的视角，对理解梯度下降的“下山”非常关键，因为下山走的是参数空间，不是平面上的数据点。

我实际做项目时还会刻意先把θ₁的符号和量级想清楚。比如房价和面积，θ₁应该明显大于0，如果训练完之后θ₁变成了负数，甚至-3000多，那多半不是模型的问题，是数据预处理出了问题——比如特征列填错了，或者标准化之后没有还原到原始尺度。单变量模型的好处就是你完全可以靠直觉检查参数是否合理。

2. 代价函数J的设计动机与数学直觉

2.1 为什么是“平方误差”而不是其他误差

代价函数衡量的是模型预测和真实值的差距，这个大家都懂。但为什么吴恩达在这一讲单独强调“平方误差代价函数”？因为它有两个别的函数没有的好处。

第一个好处是平滑且可导。绝对值误差|h(x)-y|虽然直观，但在h(x)=y那个点不可导，梯度下降碰到这里就尴尬了。平方误差在整个实数域处处可导，梯度好算。第二个好处是放大误差：平方会让大偏差产生不成比例的惩罚，模型会更倾向于“求稳”，而不是被某个点带得特别偏。

我需要额外说明一个细节：线性回归里的平方误差代价函数，在参数θ₀、θ₁固定后其实是一个关于θ的二次型函数。二次型意味着它是凸函数。凸函数就意味着从任意初始点出发，梯度下降都不会陷入局部极小值，只会收敛到全局最小值。这不是运气，是数学结构给的保证。后面讲神经网络时，代价函数是非凸的，会踩坑才会想起这里的好。

2.2 除以m与除以2m：背后是两个完全不同的理由

代价函数的标准写法是：

J(θ₀, θ₁) = (1/2m) Σ(h(xⁱ) - yⁱ)²

很多初学者会问：除个m还能理解，是求平均，为什么天上掉下个2？

除以m是为了消除样本量的影响。假设训练集有1000条数据和10条数据，如果不做平均，1000条数据的误差和自然是10条数据的误差和的大约100倍，用一个和比较模型好坏没有意义。除以m之后，J的意义变成“每个样本平均误差的一半”，量纲稳定。

那除以2呢？这是单纯为了求导时约掉平方项带来的系数2。分母上的2不影响最优点位置，因为让J最小的θ和让(J×任何正系数)最小的θ完全一样。但加上这个2后，后面求偏导的一堆公式会清爽很多。吴恩达在这一讲里没有过度解释这件事，但考试和作业常常直接沿用这个记号，所以我建议一开始就接受这个约定，并且知道它会直接影响梯度下降更新公式中的系数。

2.3 线性回归里“凸性”带给我们什么实际红利

凸性的实际红利体现在三点：

第一，你不需要尝试很多组不同的初始值。非凸模型像神经网络，不同初始值可能收敛到完全不同的碗底；凸模型不会，从哪出发都到同一个最低点。这省了一大堆调参时间。

第二，你不需要特别纠结学习率设多少。稍大一点，训练过程虽然震荡，但往往还是在朝着谷底走；稍小一点，收敛慢，但不会跑飞。非凸模型里学习率要精细调，而第二讲这个场景给了你充分的容错空间去理解学习率本身的行为。

第三，闭式解存在。凸二次函数可以直接求导并令其等于零，得到解析解。这也解释了为什么后期很多回归库默认走迭代法而不是直接求逆：数据量大时，闭式解涉及矩阵求逆，计算代价是O(n³)，而梯度下降每轮只有O(mn)，虽然迭代多次，但整体跑下来往往更快。这一点在作业里不明显，工业场景非常明显。

3. 梯度下降的全部细节：从直觉、推导到收敛

3.1 下山类比为什么能成立，以及代价函数长什么样

梯度下降的通用形式课程里给了：

θⱼ := θⱼ - α · (∂/∂θⱼ)J(θ₀, θ₁)

其中α是学习率，右边是J对θⱼ的偏导数。吴恩达用“站在山顶想最快下山”来类比，这个类比是对的，但很多人忽略了它背后的成立条件：你是沿着“最陡方向”迈出一小步，然后重新评估最陡方向。不是一步跑到山脚，也不是朝着一个方向直冲，而是每一步都根据当前点的局部坡度重新定向。

放在线性回归场景，代价函数是一个碗状的曲面。θ₀和θ₁是水平面的两个坐标轴，J的高度是垂直方向的地形高度。抛物线型代价函数在这里形成一个椭圆形的碗：当θ₀和θ₁的量级差异很大时，碗的截面会是一个很扁的椭圆，此时梯度方向并不直接指向碗底，而是会在两侧来回震荡，这就是特征缩放重要的几何原因，这一讲是埋了伏笔的。

3.2 两个偏导数的完整推导

我从头推一遍，因为不推一次，后面的代码很容易写成错误公式而不自知。

已知h(xⁱ) = θ₀ + θ₁xⁱ，且J(θ₀, θ₁) = (1/2m)Σ(h(xⁱ)-yⁱ)²。

对θ₀求偏导：

∂J/∂θ₀ = (1/2m) · Σ 2·(h(xⁱ)-yⁱ) · ∂(h(xⁱ))/∂θ₀
= (1/m) Σ (h(xⁱ)-yⁱ)

这里∂(h(xⁱ))/∂θ₀ = 1。

对θ₁求偏导：

∂J/∂θ₁ = (1/2m) · Σ 2·(h(xⁱ)-yⁱ) · ∂(h(xⁱ))/∂θ₁
= (1/m) Σ (h(xⁱ)-yⁱ) · xⁱ

这里∂(h(xⁱ))/∂θ₁ = xⁱ。

注意一个常见错误：对θ₁求偏导时，乘的是xⁱ，不是1。很多作业出错都是代码里写了(s-x)，漏了乘以特征值。我在自己初学的时候也栽过这个跟头，后来养成习惯，先把θ₀和θ₁的更新公式分别写出来，逐项核对，再翻译成代码。

最终更新规则：

• θ₀ := θ₀ - α·(1/m)Σ(h(xⁱ)-yⁱ)
• θ₁ := θ₁ - α·(1/m)Σ(h(xⁱ)-yⁱ)·xⁱ

再次强调，这两个更新必须同时完成。课程里那张“示意图”往往先把θ₀更新了再更新θ₁，但那是为了展示暂时回到山上的状态，真实实现里如果不用临时变量保存旧参数，第二次更新时用的已经是新θ₀，会导致结果偏离轨迹。代码实现我会在后面一节里演示正确做法。

3.3 批量、随机、迷你批量在第二讲中的取舍

第二讲的梯度下降其实是“批量梯度下降”，每一步都用整个训练集来算误差和。它的特点是稳定，但慢。吴恩达在后来的课程中才正式介绍随机梯度下降和迷你批量梯度下降。在第二讲这个阶段，完全可以不用管后面的两种变体，但我建议在理解层面把它们区分开，因为期末复习时导师喜欢问这三种的区别。

批量梯度下降用全部数据，每次更新方向最准，但每轮计算量大。随机梯度下降每次只用一个样本，更新噪声大，但训练一轮的复杂度低，适合大规模数据集。迷你批量是折中，每批用几十到几百条样本。第二讲的作业数据量只有几十条，批量梯度下降就够了，没必要用随机版本来增加理解成本。

4. 特征缩放、学习率曲线与调参实战

4.1 单变量也要特征缩放：从等高线变扁说起

这一讲只有单一特征，但吴恩达还是刻意铺垫了特征缩放的概念。很多人以为单变量就不需要缩放，这是不对的。核心问题不在于变量数量，而在于特征的“尺度”。假设你的特征x是房价面积，取值从500到3000，而另外一个特征是房间数，取值从1到5，两者尺度差异可能达几百倍。即使只有一个特征，如果它本身跨度极大，也会出现代价函数等高线呈极窄椭圆的情况。

窄椭圆为什么麻烦？因为梯度下降的震荡方向会在陡峭方向来回弹跳，走“之”字路线。如果把输入特征缩放到差不多的范围，等高线更接近正圆，梯度下降会沿着直径直扑最低点，收敛快得多。

常用的两种缩放方式：

• 最大最小值归一化：x' = (x - min(x)) / (max(x) - min(x))，把数据压到[0,1]区间
• 均值标准化：x' = (x - μ) / σ，让数据均值为0、方差为1

什么时候用哪个？如果后续要做可视化，或者要用sigmoid、tanh这类有界激活函数，倾向于用归一化；如果数据有极端离群点，最大最小值会扭曲缩放比例，此时用标准化更稳。实际工程中我八成场景用标准化，因为离群点太常见。

4.2 学习率怎么定：课程不说的工程经验

吴恩达在视频里说过可以试试0.01、0.03、0.1、0.3、1这些值，但没解释为什么是这个顺序。其实这是按“乘以3倍左右递增”的经验做法。学习率太小，收敛慢，可能迭代几千轮还在半路。学习率太大，损失函数会出现不降反升的震荡，甚至直接发散成无穷大。

我自己调试时有一套相对固定的流程，给大家参考：

1. 先把初始学习率设成0.01，跑200轮，画损失曲线。如果损失平稳下降，记录曲线形态。
2. 再把学习率调成0.1、0.3、1，分别跑同样轮数。观察哪个值下损失能快速到底，同时不震荡。
3. 如果0.3的曲线在某个区间附近来回跳动，说明它已经偏大了，回到0.1继续。
4. 判断“学得太快但没炸”和“学得太慢”之间的边界，选择边界附近偏小一点的值。

课程中的数据集如果有特征缩放，学习率0.1到0.3往往就是比较稳的区域。如果你不做特征缩放，同样的学习率很可能让梯度爆炸，这不是算法问题，是尺度问题。

实际项目里更应该搭配使用Adam这类自适应学习率算法，它们能针对每个参数各自调整步长，对尺度不敏感。但在理解概念的阶段，手动调学习率是必修课，因为自适应算法背后的直觉就是从这里来的。

4.3 损失曲线分析：哪种形态说明调参方向错了

损失曲线是判断训练是否正常的最直观工具。这里列几种形态和它们对应的含义：

第二讲作业里最常见的调试场景就是：学习率太大，损失值直接变成nan或者inf。这时候第一反应不要是去动模型结构，先去检查学习率和梯度更新公式，再查输入数据里有没有NaN值。我见过有人把锅甩到数据上，结果发现仅仅是把除以2m的2漏写了，整个梯度被放大了一倍，放大的结果在学习率稍大时就表现为发散。

5. 用NumPy从零跑通单变量线性回归

5.1 代码结构：数据生成、训练循环、可视化

光看不练很难真正理解梯度下降。我给出一个最小可运行版本，使用纯NumPy，不加任何机器学习库。数据自己生成一点带噪声的线性点，整个过程分四步：生成数据、定义代价函数、执行梯度下降、可视化结果。

python复制import numpy as np
import matplotlib.pyplot as plt

# 生成带噪声的线性数据
rng = np.random.default_rng(42)
X = np.linspace(0, 10, 100)
y = 2.5 * X + 1.2 + rng.normal(0, 1.0, size=X.shape[0])

m = len(y)
X_plot = X.copy()  # 保留原始刻度用于画图
# 标准化特征，方便梯度下降
X_mean, X_std = X.mean(), X.std()
X_norm = (X - X_mean) / X_std

# 初始化参数
theta0, theta1 = 0.0, 0.0
alpha = 0.1
iterations = 300

# 训练循环
loss_history = []

for _ in range(iterations):
    y_pred = theta0 + theta1 * X_norm

    error = y_pred - y
    theta0 = theta0 - alpha * (1 / m) * np.sum(error)
    theta1 = theta1 - alpha * (1 / m) * np.sum(error * X_norm)

    loss = (1 / (2 * m)) * np.sum(error ** 2)
    loss_history.append(loss)

# 打印训练结果
print(f"theta0 = {theta0:.4f}, theta1 = {theta1:.4f}")
print(f"最终损失 = {loss_history[-1]:.4f}")

# 画损失曲线
plt.figure(figsize=(8, 4))
plt.plot(loss_history)
plt.xlabel("Iteration")
plt.ylabel("J($\\theta$)")
plt.title("Loss Curve")
plt.show()

这段代码里有一个细节要特别说：我在训练前对X做了标准化，但画预测结果时用的是标准化的X，所以最后预测出来的theta1是针对标准化特征的斜率，不是原始尺度的语义。如果你想把模型还原成原始尺度公式y = θ₀' + θ₁'·x，需要做转换：

θ₁' = θ₁ / X_std

θ₀' = θ₀ - θ₁' · X_mean

这个换算在很多课程笔记里都没有写，但考试和真实项目里特别实用。我在生产环境里经常需要把标准化后的模型系数还原成原始量纲，给业务方解释“面积每增加一平米房价涨多少”，否则一个斜率值在标准化尺度里很难直观解释。

5.2 梯度下降版本与闭式解版本对比

这一讲没有介绍闭式解，但我建议自己用正规方程验证一下梯度下降有没有收敛到正确的点。正规方程的矩阵形式是：

θ = (XᵀX)⁻¹Xᵀy

在单变量场景里，可以手动构造特征矩阵，在原始X旁边加一列1。下面的代码同时跑闭式解和梯度下降，输出两者的参数进行对照：

python复制# 构造特征矩阵，加一列1作为常数项
X_design = np.column_stack([np.ones(m), X])

# 正规方程闭式解
theta_closed = np.linalg.pinv(X_design.T @ X_design) @ X_design.T @ y
print("闭式解 theta:", theta_closed)

# 把标准化参数还原成原始尺度
theta1_raw = theta1 / X_std
theta0_raw = theta0 - theta1_raw * X_mean
print("梯度下降还原后 theta:", [theta0_raw, theta1_raw])

我测试过无数次，只要梯度下降没有跑飞，学习率合适迭代足够，还原后的参数和闭式解之间的差异应该在小数点后三四位，最多五位。如果差异很大，大概率是学习率太小导致还没收敛，或者是迭代次数不够。这个方法是个非常好的自查工具，也是我建议初学者在作业里额外加的一步，能系统性确认自己的梯度下降实现没有隐藏bug。

5.3 评估指标：别只看损失，R²与RMSE更好用

课程里的代价函数是MSE的变体，但实际项目里没有人只看J(θ)来评价模型好不好，因为J受样本量和量纲影响。真正常用的是RMSE和R²。

RMSE，均方根误差，就是MSE开根号，它和y是同一个量纲。比如房价预测，误差5万美元，经理能听懂；你告诉它“误差是多少平方美元”，没人有感觉。R²则是拟合优度，表示模型解释了y方差的百分比。R²=1是完美拟合，R²=0是不如直接用均值预测。

计算示例：

python复制y_pred_raw = theta0_raw + theta1_raw * X
residual = y - y_pred_raw
rmse = np.sqrt(np.mean(residual**2))

ss_res = np.sum(residual**2)
ss_tot = np.sum((y - np.mean(y))**2)
r2 = 1 - (ss_res / ss_tot)

print(f"RMSE = {rmse:.4f}")
print(f"R² = {r2:.4f}")

R²这个指标在课程后半段回归问题相关作业里也会反复出现，建议现在就把公式记牢。很多同学期末复习时把注意力都放在梯度下降上，忽略评估指标，做项目时才发现自己不会量化模型好坏。

6. 复习期末与作业时容易踩的坑，以及这门课的隐藏线索

6.1 符号体系混乱：i和j下标为什么总出错

吴恩达的课程里大量使用上标i来表示样本序号，下标j来表示特征序号。比如xⁱ表示第i个样本，xⱼ表示第j个特征，xʲⁱ表示第i个样本的第j个特征值。这个记号非常容易和幂运算混淆。我自己第一次做代码作业时，差点把x²当成了x的平方，其实那可能是j=2时对第i个样本的第2个特征。

期末复习时建议给自己做一张符号速查表：

• m：训练样本数量
• n：特征数量
• xⁱ：第i个训练样本的特征向量
• yⁱ：第i个训练样本对应的标签值
• xⱼ：特征向量的第j个分量
• θⱼ：模型参数向量的第j个分量
• h(xⁱ)：模型对第i个样本的预测值

符号体系不够熟练，后面讲到逻辑回归时更痛苦，因为代价函数里会出现log、sigmod、上标和下标混在一起，不先把记号练熟，公式就是天书。

6.2 标准化的“时机”问题

标准化还有一个容易被忽略的细节：统计指标要用训练集上计算出的均值和标准差，不能每次都重新算。也就是说，先用训练集拟合出μ和σ，然后对训练集、测试集都用这一组μ和σ做变换。

我在作业里见过不少人犯这个错误：对测试集做标准化时，用测试集自己的均值和标准差。这样会造成数据泄漏——测试集信息在预测时被泄露进了模型，评估结果虚高。虽然第二讲作业只有训练集，没强调划分，但这个习惯一定要从最开始养成。之后做房价预测实验、逻辑回归、神经网络，只要牵扯到train/test split，标准化参数必须绑定在训练集上。

6.3 从第二讲看整门课的隐藏线索：所有模型都在做同一件事

最后说一个思路上的问题。很多人学完第二讲后觉得“回归”跟“分类”是两种完全不同的任务，后面学逻辑回归时才恍然大悟：逻辑回归本质上是线性回归加上一层sigmoid转换，虽然输出变成了概率，但它的训练过程仍然是定义代价函数、用梯度下降更新参数，整个过程和第二讲一样。

吴恩达这门课的编排是非常讲究的：第二讲把所有核心机制都装进一个最简单的模型，让你在没有任何额外干扰的情况下看到“假设—代价—优化”这条主线。后面的每节课都是在这条主线上换骨架、换外层函数，但核心骨架不变。

期末复习的时候，不要试图把每一讲的公式都背下来，而是画出每讲模型之间的递进关系。第一讲是监督学习概览，第二讲建立了单变量线性回归的完整流水线，第三讲扩展到多变量和矩阵表示，第四讲强调多项式回归和特征工程，第五讲才进入分类的逻辑回归。这条线索顺下来，期末复习的优先级就清楚了。

我个人在实际学习中的体会是，第二讲不需要额外做太多题目，把代码作业里的梯度下降一步步打印出来，观察θ₀、θ₁和损失值的变化，比刷题更有用。你亲眼看到每一轮参数怎么沿着代价函数表面下滑，比任何文字解释都深刻。多花一晚把五个学习率分别试一遍，看看损失曲线的差别，这比边看视频边快进带来的收获大得多。