最小二乘法原理与线性回归实现详解

1. 最小二乘法原理与线性回归基础

最小二乘法是统计学和机器学习中最基础也最重要的参数估计方法之一。我第一次接触这个概念是在研究生时期的计量经济学课上，当时教授用"寻找最佳拟合直线"的直观例子让我们理解了它的核心思想。

1.1 什么是最小二乘法

最小二乘法(Least Squares Method)的核心目标是通过最小化预测值与真实值之间的平方误差和，来找到最优的模型参数。对于一元线性回归问题，我们假设存在以下关系：

y = θ₁x + θ₀ + ε

其中θ₁是斜率，θ₀是截距，ε是误差项。我们的目标就是找到θ₁和θ₀的最佳估计值，使得所有样本点的预测误差最小。

注意：最小二乘法的"最小"指的是平方误差和最小，而不是绝对误差或其他形式的误差。选择平方误差有数学上的便利性，也符合高斯-马尔可夫定理的假设条件。

1.2 为什么选择平方误差

在建立损失函数时，我们选择平方误差而不是绝对误差，主要有三个原因：

1. 数学处理方便：平方函数处处可导，便于使用微积分工具求解
2. 对大误差惩罚更重：平方放大了较大误差的影响，使模型更关注严重偏离的点
3. 统计性质优良：在误差服从正态分布的假设下，最小二乘估计是最大似然估计

损失函数的具体形式为：

python复制J(θ) = 1/(2m) * Σ(y_pred - y_true)²

其中系数1/2是为了后续求导方便而添加的，不影响极值点的位置。

2. 参数求解的数学推导

2.1 构建优化问题

给定m个数据点{(x₁,y₁), (x₂,y₂), ..., (xₘ,yₘ)}，我们需要最小化损失函数：

J(θ₀, θ₁) = 1/(2m) * Σ[ (θ₁xᵢ + θ₀ - yᵢ)² ]

这是一个关于θ₀和θ₁的二元函数优化问题。根据微积分知识，函数在极值点处的偏导数应为零。

2.2 对θ₀求偏导

首先对截距θ₀求偏导：

∂J/∂θ₀ = ∂/∂θ₀ [1/(2m) * Σ(θ₁xᵢ + θ₀ - yᵢ)²]
= 1/(2m) * Σ [2(θ₁xᵢ + θ₀ - yᵢ) * 1]
= 1/m * Σ(θ₁xᵢ + θ₀ - yᵢ)

令偏导等于零：
1/m * Σ(θ₁xᵢ + θ₀ - yᵢ) =