1. 项目背景与核心价值
作为一名从传统运维转型数据科学的实践者,我深刻理解数学基础对机器学习的重要性。最小二乘法作为线性回归的基石算法,其背后严谨的数学推导过程常常让许多跨领域学习者望而生畏。本文将从运维工程师的视角出发,用最朴素的代数工具完整推导最小二乘法的数学原理。
这个推导过程特别适合以下人群:
- 需要快速理解机器学习数学基础的运维/开发人员
- 对公式推导有"心理障碍"的转行学习者
- 希望掌握算法本质而不仅停留在调包的数据从业者
我们将完全通过初中级别的代数知识完成推导,不需要任何高等数学基础。最终你会惊讶地发现,所谓"机器学习算法"的数学本质竟然如此简洁优美。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 问题建模与数学准备
2.1 线性回归的基本形式
假设我们有n组观测数据(x₁,y₁), (x₂,y₂)...(xₙ,yₙ),需要找到最佳拟合直线 y = ax + b。这里的"最佳"标准是:所有数据点到直线的垂直距离(残差)的平方和最小。
用数学表达式表示就是:
code复制S = Σ(yᵢ - axᵢ - b)² → 最小
其中S称为残差平方和(Sum of Squared Residuals)
2.2 关键推导思路
要使S最小化,我们需要:
- 将S表示为关于参数a和b的函数
- 分别对a和b求偏导
- 令偏导数等于0,建立方程组
- 解这个方程组得到a和b的最优解
注意:虽然使用了"偏导"这个术语,但实际推导过程完全可以只用基础的代数知识完成,下文会具体展示。
3. 完整数学推导过程
3.1 展开残差平方和
首先展开S的表达式:
code复制S = Σ(yᵢ - axᵢ - b)²
= Σ(yᵢ² + a²xᵢ² + b² - 2axᵢyᵢ - 2byᵢ + 2abxᵢ)
为简化表示,我们引入以下符号:
- Σx = x₁ + x₂ + ... + xₙ
- Σy = y₁ + y₂ + ... + yₙ
- Σxy = x₁y₁ + x₂y₂ + ... + xₙyₙ
- Σx² = x₁² + x₂² + ... + xₙ²
- n表示数据点数量
于是S可简化为:
code复制S = Σy² + a²Σx² + nb² - 2aΣxy - 2bΣy + 2abΣx
