大数定律原理与应用：从统计学基础到机器学习实践

1. 大数定律的直观理解

大数定律就像是一位经验丰富的赌场荷官。刚开始工作时，他可能因为手生偶尔会发错牌，但随着发牌次数越来越多，他的失误率会稳定在一个极低的水平。这个现象在统计学中被称为"频率稳定性"——当试验次数足够大时，事件发生的相对频率会趋近于其理论概率。

我用一个简单的Python模拟来说明这个现象。假设我们有一枚公平硬币，理论上正反面出现的概率都是50%。但在实际投掷中，前10次可能出现7正3反（70%正面），这显然偏离了理论值。但随着投掷次数增加到1万次，正面比例会稳定在50%附近波动：

python复制import random
import matplotlib.pyplot as plt

def coin_toss_experiment(n):
    results = []
    heads = 0
    for i in range(1, n+1):
        if random.random() < 0.5:
            heads += 1
        results.append(heads/i)
    plt.plot(results)
    plt.axhline(0.5, color='red', linestyle='--')
    plt.xlabel('Number of tosses')
    plt.ylabel('Proportion of heads')
    plt.show()

coin_toss_experiment(10000)

运行这段代码，你会看到一条逐渐收敛于0.5的红线。这就是大数定律在发挥作用——随机事件的长期稳定性。

注意：大数定律发挥作用需要满足三个关键条件：(1) 独立同分布（i.i.d.）的随机变量；(2) 有限的期望值；(3) 足够大的样本量。在实际应用中，这三个条件缺一不可。

2. 大数定律的数学表述

2.1 弱大数定律（WLLN）

弱大数定律告诉我们，对于独立同分布的随机变量序列X₁, X₂,..., Xₙ，当n趋近于无穷大时，样本均值会以概率收敛于期望值μ。用数学符号表示就是：

∀ε > 0, limₙ→∞ P(|(X₁ + ... + Xₙ)/n - μ| ≥ ε) = 0

这个公式看