从几何视角理解Fisher线性判别:用Python实现鸢尾花分类的数学本质
在机器学习入门阶段,许多教程会直接给出Fisher线性判别的代码实现,却很少解释为什么这个算法能有效分类。今天我们将从几何空间的角度,一步步推导Fisher判别的数学原理,并用NumPy手动实现整个过程。不同于简单地调用sklearn,我们将深入算法内核,理解如何通过投影优化找到最佳分类方向。
1. Fisher判别的几何直觉
想象一个三维空间中的两类数据点,我们希望找到一个二维平面,使得投影后的数据点能够最好地被区分。Fisher判别的核心思想就是找到这样一个投影方向,使得不同类别的数据在投影后尽可能分开,而同一类别的数据尽可能聚集。
类间散度(Between-class scatter)衡量的是不同类别均值之间的距离:
python复制# 计算两类均值向量的差
m_diff = m1 - m2
# 类间散度矩阵
S_B = np.outer(m_diff, m_diff.T)
类内散度(Within-class scatter)则衡量同一类别数据的离散程度:
python复制# 对每个样本计算与均值的偏差
deviation = X_class1 - m1
# 类内散度矩阵
S_W = np.dot(deviation.T, deviation)
Fisher准则函数可以表示为:
code复制J(w) = (wᵀS_B w) / (wᵢS_W w)
这个比值越大,表示投影方向w的分类效果越好。我们需要找到使J(w)最大化的w。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数学推导:从散度矩阵到投影向量
通过拉格朗日乘数法,我们可以证明最优投影方向w满足:
code复制S_W⁻¹ S_B w = λw
这实际上是一个广义特征值问题。对于两类情况,可以简化为:
python复制# 计算最优投影方向
w = np.linalg.inv(S_W).dot(m1 - m2)
为了验证这个结果,我们可以计算投影后的数据:
python复制# 将数据投影到w方向
projected_data = np.dot(X, w)
关键理解点:
- 散度矩阵实际上是协方差矩阵的加权版本
- 求逆操作相当于在Mahalanobis距
