逻辑回归中交叉熵损失函数的原理与应用

1. 逻辑回归与损失函数的选择困境

第一次接触逻辑回归时，很多同学都会有个疑问：为什么不像线性回归那样直接用最小二乘损失函数？这个问题困扰了我整整两周。直到某天深夜调试代码时，当我尝试手动实现不同损失函数的对比实验后，才真正理解了交叉熵背后的精妙设计。

逻辑回归虽然名字里有"回归"，但它解决的是分类问题。我们需要预测的是样本属于某个类别的概率，这个概率值被压缩在0到1之间。如果用均方误差（MSE）作为损失函数，会出现梯度消失的问题——当预测值接近0或1时，梯度会变得极小，导致模型训练缓慢甚至停滞。

2. 从极大似然估计看交叉熵的本质

2.1 概率视角下的逻辑回归

逻辑回归模型的输出可以看作伯努利分布的参数p：
P(y=1|x) = σ(w^T x) = 1/(1+e^(-w^T x))
P(y=0|x) = 1 - σ(w^T x)

其中σ是sigmoid函数。对于一组独立同分布的样本，其联合似然函数为：
L(w) = ∏[σ(w^T x_i)^y_i * (1-σ(w^T x_i))^(1-y_i)]

取对数后得到对数似然：
ln L(w) = ∑[y_i ln σ(w^T x_i) + (1-y_i)ln(1-σ(w^T x_i))]

2.2 交叉熵的数学推导

最大化对数似然等价于最小化负对数似然：
J(w) = -∑[y_i ln σ(w^T x_i) + (1-y_i)ln(1-σ(w^T x_i))]

这正是交叉熵损失函数的形式。它衡量了模型预测分布与真实分布之间的差异。当预测完全正确时，交叉熵为0；差异越大，交叉熵值越大。

3. 交叉熵的梯度特性与优化效率

3.1 梯度计算解析

交叉熵损失函数对参数w的梯度为：
∂J/∂w = ∑(σ(w^T x_i) - y_i)x_i

这个简洁的形式意味着：

1. 梯度与误差(预测值-真实值)成正比
2. 不会出现sigmoid函数导数导致的梯度消失
3. 每个样本对梯度的贡献是线性的，便于并行计算

3.2 与MSE的对比实验

我在MNIST数据集上做了对比实验（二分类任务）：

交叉熵的优势在深层网络中更为显著。当我在ResNet18上测试时，MSE损失导致前几层几乎学不到有效特征。

4. 正则化与MAP视角

4.1 权重衰减的贝叶斯解释

在损失函数中加入L2正则项：
J(w) = 交叉熵 + λ||w||^2

这等价于假设参数w服从高斯先验分布的最大后验估计(MAP)。λ控制着我们对大权重的惩罚强度。

4.2 不同先验的影响

实践中我发现：

• L1正则(拉普拉斯先验)更适合特征选择
• L2正则(高斯先验)通常能获得更好的泛化性能
• Elastic Net(两者结合)在特征高度相关时表现优异

一个实用的技巧是：先使用较强的L1正则进行特征筛选，再用L2正则训练最终模型。

5. 工程实现中的关键细节

5.1 数值稳定性处理

直接计算sigmoid可能导致数值溢出。我的实现方案是：

python复制def stable_sigmoid(x):
    mask = x >= 0
    pos = 1 / (1 + np.exp(-x[mask]))
    neg = np.exp(x[~mask]) / (1 + np.exp(x[~mask]))
    return np.concatenate([pos, neg])

5.2 多分类扩展

对于K分类问题，使用softmax+交叉熵组合：
L = -∑∑ y_{i,k} ln(p_{i,k})

其中p_{i,k} = e^{w_k^T x_i} / ∑ e^

这里有个易错点：softmax的数值稳定性处理需要同时减去最大值：

python复制def stable_softmax(x):
    exps = np.exp(x - np.max(x))
    return exps / np.sum(exps)

6. 实际应用中的经验心得

在广告CTR预测项目中，我发现几个实用技巧：

1. 特征缩放很重要：连续特征应先标准化到[0,1]范围，否则会影响正则化效果

2. 学习率设置：初始学习率建议设为1e-3，配合Adam优化器效果最佳

3. 早停策略：当验证集loss连续3个epoch不下降时终止训练

4. 类别不平衡处理：对负样本施加0.1的权重往往能提升AUC

一个有趣的发现是：在文本分类任务中，交叉熵损失配合TF-IDF特征的表现有时能超过简单的神经网络模型，且训练速度快10倍以上。