最小二乘法原理与Python实现直线拟合

1. 最小二乘法基础概念解析

最小二乘法（Least Squares Method）是数学建模中最常用的参数估计方法之一，它通过最小化误差平方和来寻找数据的最佳函数匹配。这个方法最早由高斯在19世纪初提出，用于解决天体运动轨道的计算问题，如今已成为数据分析、机器学习等领域的基础工具。

在实际应用中，我们经常会遇到这样的场景：实验测得一组二维数据点(x₁,y₁),(x₂,y₂),...,(xₙ,yₙ)，想要找到一条直线y = kx + b，使得这条直线能够"最好"地拟合这些数据点。这里的"最好"标准就是最小二乘准则——使所有数据点的垂直偏差（即残差）的平方和最小。

注意：最小二乘法的"二乘"就是指平方（二次方）运算，区别于绝对值（一阶）或其他距离度量方式。选择平方运算的优势在于数学处理方便，且对大误差给予更高惩罚。

2. 直线拟合的数学推导过程

2.1 建立数学模型

假设我们有n个数据点(xᵢ, yᵢ)，i=1,2,...,n，要拟合的直线方程为：
y = kx + b

对于每个数据点，预测值与实际值的残差为：
eᵢ = yᵢ - (kxᵢ + b)

我们的目标是最小化残差平方和：
S = Σ(eᵢ)² = Σ[yᵢ - (kxᵢ + b)]²

2.2 求解极值条件

要使S最小，需要对k和b分别求偏导并令其等于0：

∂S/∂k = -2Σxᵢ(yᵢ - kxᵢ - b) = 0
∂S/∂b = -2Σ(yᵢ - kxᵢ - b) = 0

整理后得到正规方程组（Normal Equations）：
Σxᵢyᵢ = kΣxᵢ² + bΣxᵢ
Σyᵢ = kΣxᵢ + nb

2.3 解方程组

将方程组表示为矩阵形式：
| Σxᵢ² Σxᵢ | |k| = |Σxᵢyᵢ|
| Σxᵢ n | |b| |Σyᵢ |

解得：
k = [nΣxᵢyᵢ - ΣxᵢΣyᵢ]/[nΣxᵢ² - (Σxᵢ)²]
b = [Σyᵢ - kΣxᵢ]/n

这就是最小二乘法直线拟合的最终解。

3. 实际计算步骤详解

3.1 数据准备与预处理

假设我们有以下5个数据点：
(1,2), (2,3), (3,5), (4,7), (5,8)

首先计算所需的各项累加和：
Σxᵢ = 1+2+3+