在机器学习里,最容易被名字误导的算法,我第一个想到的就是 LDA。刚接触这个领域的新手,搜“LDA”往往会搜出两种完全不同的东西:一种叫作线性判别分析(Linear Discriminant Analysis),是经典的降维和分类工具;另一种叫作潜在狄利克雷分配(Latent Dirichlet Allocation),是自然语言处理里做主题建模的算法。这篇文章要讲的是前者,线性判别分析。我会从原理推导一步步讲到 Python 实战,顺便把 LDA 和 PCA 的适用场景、常见坑也说清楚,让你看完之后能直接上手用。
我自己最早用 LDA 是在一个工业质检项目里,几千维的传感器特征,类别就三种,直接把原始特征丢给分类器不仅慢,效果也一般。后来用 LDA 降到二维再训练,速度和精度反而都上来了。这个经历让我对 LDA 的印象非常深——它不是一个花哨的算法,但在很多实际问题里,它就是最“懂”分类任务的降维手段。
1. LDA 是什么:先建立直观认识
在说数学之前,我习惯先用一句话把算法的目标讲明白:线性判别分析要找一组投影方向,让数据投影到这些方向上之后,同一类别的样本尽可能聚集在一起,不同类别的样本尽可能彼此分开。
这里有两个关键词,一个是“线性”,一个是“判别”。线性意味着投影变换是线性的,也就是对原始特征做加权求和;判别意味着投影方向的求解要用到类别标签,这是 LDA 和监督学习之间最深的联系。
1.1 一句话理解 LDA 的核心思想
你可以把 LDA 想象成一个“教练”在给球员安排站位。这个教练手上有两类球员,他希望安排一个视角(投影方向),从这个视角看过去,两队的球员分别扎堆站好,不要混在一起。如果两队的队员在某个角度上完全重叠,那就换个角度再看。LDA 做的事情就是自动找到这个“最佳视角”。
换成机器学习的话来说:假设原始数据是二维平面上的点,LDA 会找到一条直线,把所有的点都投影到这条直线上。投影之后,不同类别的点如果分得越开、同一类别的点如果挨得越近,这条直线就越好。LDA 在数学上做的事,就是把“分得开”和“挨得近”这两个目标统一成一个可以优化的目标函数。
这个过程天然有两个用途:降维和分类。降维好理解,把高维数据投影到低维空间,方便可视化或者作为后续算法的输入;分类也好理解,既然投影之后不同类别分得开,那直接用投影后的位置来判断样本属于哪一类就行了。所以 LDA 既是降维工具,也是一个线性分类器,这一点很多人容易忽略。
1.2 LDA 能做什么:降维与分类一体两用
先说降维。LDA 在降维任务里有一个非常独特的性质:对于 K 类分类问题,LDA 最多只能把数据降到 K-1 维。举个例子,二分类问题最多降到一个维度,三分类问题最多降到两个维度。这个约束的根源在于类间散度矩阵的秩,后面讲数学推导的时候我会详细解释。实际项目里,这个性质其实挺方便——如果数据恰好有 3 类,你直接用 LDA 就能拿到二维的可视化结果,而不需要纠结到底该保留多少个主成分。
再说分类。LDA 作为分类器时,它的假设是每一类的数据都服从高斯分布,并且所有类别共享同一个协方差矩阵。做完这个假设之后,贝叶斯决策边界在特征空间里就是一条直线(或一个超平面),所以 LDA 本质上也是一个线性分类器,和逻辑回归属于同一档次的模型。
我用过的一个场景很能说明问题:人脸识别里常用的 FisherFace 算法,本质上就是先对原始像素空间做 LDA 降维,得到若干个判别方向,再在投影后的低维空间里做最近邻分类。整个过程比纯 PCA 降维精度高不少,因为 LDA 在降维时就已经把类别信息考虑进去了,PCA 却完全无视这些信息。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心原理:从 Fisher 准则到 LDA 数学推导
LDA 的数学推导并不复杂,但里面的思路很值得回味。最早的线性判别分析其实叫 Fisher 线性判别,是 Fisher 在 1936 年提出来的,当时主要用于二分类问题。后来 Rao 把它推广到多分类场景,才形成了今天常见的 LDA 形式。
2.1 目标:类内紧凑、类间疏远
为了把“投影之后类内紧凑、类间疏远”这句话翻译成数学表达式,我们需要定义几个量。假设数据有 c 个类别,第 i 类的样本集合记为 C_i,第 i 类的均值向量为 m_i,全部样本的均值向量为 m。
首先定义类内散度矩阵 S_w,它衡量的是每个类别内部的样本和该类均值之间的偏离程度,可以理解为把所有类的协方差矩阵按样本量加权求和:
S_w = \sum_{i=1}^{c} \sum_{x \in C_i} (x - m_i)(x - m_i)^T
然后定义类间散度矩阵 S_b,它衡量的是各个类别的均值向量和全局均值之间的偏离程度,反映的是类别与类别之间的距离:
S_b = \sum_{i=1}^{c} n_i (m_i - m)(m_i - m)^T
这里的 n_i 是第 i 类的样本数量。还有一个总体散度矩阵 S_t = S_w + S_b,表示所有样本相对全局均值的总体散布。
2.2 从散度矩阵到 Fisher 准则
有了散度矩阵,怎么描述“投影后的效果好”呢?设投影方向为 w,样本 x 投影后变成 y = w^T x。投影之后,各类均值变为 w^T m_i,类内散度变为 w^T S_w w,类间散
