1. 最大似然估计到底是什么:一个猜谜游戏的数学化
我对最大似然估计(Maximum Likelihood Estimation,简称MLE)的感情有点复杂。读书那会儿第一次在统计学课上碰到它,被各种公式绕得头晕,完全搞不懂这东西到底在干嘛。直到后来工作中真的用到了——比如给用户行为建模、估算转化率、做推荐系统的参数调优——才意识到当年没学透的最大似然估计,反而是我日常用得最多的统计工具之一。
如果你也是刚接触这个概念,我直接用大白话说一遍:最大似然估计做的事情,就是"站在事后看事前"。假设我们已经观察到了一批数据,这批数据一定是某种规律产生的,但我们不知道规律里的参数到底是多少。最大似然估计的思路就是——把参数当成未知数,然后找到一组参数,让"这组参数下恰好出现我们手上这批数据"的概率最大。哪个参数能让当前观测数据出现的概率最高,我们就认为哪个参数最靠谱。
这就好比你在路边看到一个陌生人连续扔了10次硬币,结果是10次全正面。你会怎么猜这枚硬币的性质?正常人都会想:这枚硬币八成有问题,正面朝上的概率接近1。为什么?因为如果硬币是均匀的,连续10次正面的概率只有1/1024,太低了。但我们确确实实看到了这个结果,所以更合理的解释是硬币本身偏了。这种"根据已经发生的结果,反推最可能导致这个结果的参数"的思路,就是最大似然估计的核心逻辑。
它和贝叶斯估计有一个本质区别:最大似然估计把参数当成一个固定但未知的常数,不做先验假设,不引入主观判断,完全靠数据说话。贝叶斯估计则会先给参数一个先验分布,然后结合数据做修正。在实际项目中,数据量充足时MLE的结果和贝叶斯方法往往非常接近,但MLE在计算上简单得多、直观得多,所以它是很多实际问题里的第一选择。
这篇文章不需要你有深厚的数学背景。我会从零开始,把最大似然估计的原理、推导、实际计算步骤、常见坑点一次讲透。适合正在学习统计学、机器学习,或者工作中需要做数据分析、参数估计的读者。你能得到的不仅是一些公式,还有能直接拿到真实场景里用的直觉和经验。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 数学基础:从概率到似然的转变
2.1 概率与似然:同一枚硬币的两面
理解最大似然估计之前,必须先把"概率"和"似然"这两个词的差别搞清楚。很多人觉得它们是一回事,其实它们的视角完全不同。
概率(Probability)是给定参数后,预测某个结果出现的可能性。比如我知道硬币正面概率是0.5,那么抛10次出现6次正面的概率是多少?这是概率问题——参数已知,往前推算结果。
似然(Likelihood)则反过来。我手里已经有了观测结果——抛10次出现了6次正面,但我不知道硬币真实的正面向概率是多少。我需要尝试不同的参数取值,看在这组参数下出现"6次正面"这个结果的概率有多大。这个关于参数的函数,就叫似然函数。
用一个生活中的例子帮你建立直觉。你和朋友约好中午在商场碰头,但你到了之后发现他不在。你脑子里会冒出一堆假设:他堵车了、他记错时间了、他在二楼等我、他干脆忘了这事。哪个假设最合理?你会下意识地去想:在这些假设里面,哪一个最能解释"我现在看到的是他没出现"这个事实?你觉得最合理的那个假设,实际上就是似然最大的那个假设。
区别看起来很小,但这是看待问题的方向反转。概率是带着模型看数据的可能性,似然是带着数据看模型的合理性。最大似然估计做的,就是把似然函数求出来,然后找到让似然值最大的那个参数。
2.2 独立同分布:MLE能成立的前提
最大似然估计的整个推导过程,隐含了一个默认前提:我们观测到的数据是独立同分布的(independent and identically distributed,简写为i.i.d.)。
"同分布"指每个数据都是从同一个概率分布中抽取的。比如你要估计工厂生产的一批灯泡的平均寿命,你抽了100个灯泡测寿命。这100个数据被认为来自同一个寿命分布,只不过分布的具体参数(比如均值)是未知的。
"独立"指一个数据的取值不影响另一个数据。灯泡A的寿命不会影响灯泡B的寿命,对吧?但有些情况就没有这么简单了。比如你测一只股票每天的收益率,今天的收益率可能和昨天的有关联;或者你测同一个人的身高在不同年龄段的数据,这些数据就不是独立的。遇到这种非独立数据,直接套用MLE的独立乘积公式会出问题,需要用更复杂的方法(比如考虑协方差结构的极大似然估计)。
2.3 似然函数与对数似然:为什么要取对数
现在我们用数学语言把问题描述出来。假设我们得到了n个独立同分布的样本,记为$x_1, x_2, ..., x_n$,它们来自某个概率分布$p(x|\theta)$,其中$\theta$是我们要估计的未知参数。
因为样本是独立的,所以联合概率就等于每个样本概率的乘积:
$$L(\theta) = \prod_{i=1}^{n} p(x_i|\theta)$$
这个$L(\theta)$就是似然函数。注意,这里的自变量是$\theta$,而$x_i$都是已经观测到的固定值。我们想要求的就是让$L(\theta)$最大的那个$\theta$值。
但直接把连乘积拿来做优化计算非常不友好。原因有两点:
第一,大量小于1的概率相乘之后,数值会变得极小极小。比如100个0.1相乘,那就是10的负100次方,计算机处理这种极端小数时很容易出现精度问题,甚至直接下溢变成0。
第二,对连乘形式的函数求导,推导过程极其繁琐,导数公式会变得又长又绕。
解决的办法很简单——取对数。因为对数函数是严格单调递增的,对似然函数取对数不会改变最大值的位置。也就是说,能让$L(\theta)$最大的$\theta$,也一定能让$\log L(\theta)$最大。取完对数之后,连乘变成了连加,计算和求导都变得清爽多了:
$$\ell(\theta) = \log L(\theta) = \sum_{i=1}^{n} \log p(x_i|\theta)$$
这个$\ell(\theta)$叫对数似然函数。实际计算中我们处理的几乎都是它。求导、令导数为零、解方程——整个流程做完,得到的$\hat{\theta}$就是最大似然估计量。
2.4 一个完整的推导实例:伯努利分布的参数估计
纸上谈兵没有意思,我们拿一个最简单的模型完整走一遍流程。假设我们要估计一个网站注册页面的转化率,用户访问之后是否注册是一个二值结果:注册了记为1,没注册记为0。这本质上是伯努利试验,每一个访问用户都对应一个参数为$p$的伯努利分布,而$p$就是我们想要求的东西。
假设一个时间段内有n个用户来访,观测结果为$x_1, x_2, ..., x_n$,每个$x_i$非0即1。单个样本的概率可以写成:
$$p(x_i|p) = p^{x_i}(1-p)^{1-x_i}$$
当$x_i=1$时这个式子等于$p$,当$x_i=0$时等于$1-p$,非常漂亮地统一了两种情形。
于是似然函数为:
$$L(p) = \prod_{i=1}^{n} p^{x_i}(1-p)^{1-x_i}$$
取对数得到:
$$\e
