最小二乘法：从数学推导到机器学习应用

1. 最小二乘法的数学推导概述

最小二乘法是统计学和机器学习中最基础也最重要的算法之一。作为一名从业多年的数据工程师，我经常需要向新人解释这个看似简单实则精妙的数学工具。今天，我将从最基础的数学推导开始，带大家彻底理解最小二乘法的本质。

在实际工作中，最小二乘法最常见的应用场景就是线性回归。比如我们要预测房价，建立用户行为模型，或者分析销售趋势，都离不开这个强大的工具。理解它的数学原理，不仅能帮助我们更好地使用它，还能在模型出现问题时快速定位原因。

2. 问题定义与数学建模

2.1 线性回归的基本形式

假设我们有一组观测数据{(x₁,y₁), (x₂,y₂), ..., (xₙ,yₙ)}，想要找到一个线性函数y = ax + b来最好地拟合这些数据。这里的"最好"指的是所有数据点到这条直线的垂直距离之和最小。

用数学表达式表示就是：
yᵢ = axᵢ + b + εᵢ
其中εᵢ表示第i个观测值的误差。

2.2 误差的量化

为了找到最优的a和b，我们需要定义一个量化误差的方法。最小二乘法选择的是平方误差和（SSE）：

SSE = Σ(yᵢ - (axᵢ + b))²

这个选择有几个重要原因：

1. 平方保证了所有误差都是正数，避免了正负抵消
2. 平方放大了大误差的惩罚，使模型对大误差更敏感
3. 数学上便于求导和优化

3. 最小二乘法的推导过程

3.1 构建优化问题

我们的目标是最小化SSE函数：
min SSE(a,b) = Σ(yᵢ - axᵢ - b)²

这是一个关于a和b的二元函数优化问题。根据微积分知识，我们通过对a和b分别求偏导并令其为零，可以找到极值点。

3.2 对参数b求偏导

首先对b求偏导：

∂SSE/∂b = Σ2(yᵢ - axᵢ - b)(-1) = 0

化简得：
Σ(yᵢ - axᵢ - b) = 0
Σyᵢ - aΣxᵢ - nb = 0

解这个方程得到b的表达式：
b = (Σyᵢ - aΣxᵢ)/n = ȳ - a x̄

这里x̄和ȳ分别表示x和y的均值。这个结果告诉我们，最优的回归线必定通过点(x̄, ȳ)。

3.3 对参数a求偏导

接下来对a求偏导：

∂SSE/∂a = Σ2(yᵢ - axᵢ - b)(-xᵢ) = 0