逻辑回归原理与实战：从Sigmoid到Softmax

1. 逻辑回归基础解析

1.1 从线性回归到逻辑回归的演进

在机器学习领域，分类问题是比回归问题更为常见的任务类型。线性回归虽然简单直观，但其连续值输出的特性使其无法直接用于分类任务。想象一下，如果我们用线性回归预测"是否患病"，输出值0.8可能表示80%患病概率，但输出值2.5或-3.2就完全失去了概率意义。

逻辑回归通过引入Sigmoid函数（也称为逻辑函数）完美解决了这个问题。这个S形函数将任意实数映射到(0,1)区间，其数学表达式为：

σ(z) = 1 / (1 + e^{-z})

其中z = w·x + b，就是线性回归的输出。这个转换过程可以理解为两个阶段：

1. 线性变换阶段：计算特征的加权和
2. 非线性变换阶段：通过Sigmoid函数将得分转换为概率

实际应用中，Sigmoid函数的输出可以理解为样本属于正类的置信度。当σ(z)≥0.5时预测为正类，否则为负类。这个0.5的阈值可以根据业务需求调整——在医疗诊断等高风险场景，我们可能提高阈值以减少误诊。

1.2 决策边界的数学本质

逻辑回归的决策边界实际上是特征空间中概率等于0.5的点的集合，即：

w·x + b = 0

这个超平面将特征空间划分为两个区域。对于二维特征的情况，决策边界是一条直线；三维时是一个平面；更高维度则是超平面。值得注意的是，虽然决策边界是线性的，但通过特征工程（如多项式特征），逻辑回归也能处理非线性可分的数据。

在鸢尾花分类的例子中，我们观察到：

• 花瓣长度(petal_length)和宽度(petal_width)的组合可以很好地区分Setosa与其他品种
• 决策边界的位置取决于模型学到的权重参数
• 边界附近的样本分类置信度较低，远离边界的样本分类置信度高

1.3 损失函数的选择逻辑

为什么逻辑回归不使用均方误差(MSE)作为损失函数？这涉及到优化问题的凸性。Sigmoid函数的非线性特性使得MSE损失函数不再是凸函数，导致优化过程容易陷入局部最优。

逻辑回归采用对数损失函数（又称二元交叉熵），其数学表达式为：

J(θ) = -1/m Σ [yⁱ log(pⁱ) + (1-yⁱ)log(1-pⁱ)]

这个函数的特点是：

• 当y=1时，-log(p)惩罚低概率预测
• 当y=0时，-log(1-p)惩罚高概率预测
• 对错误预测施加指数级增长的惩罚

在实际编码实现时，我们通常会加入一个小常数（如1e-15）避免对0取对数导致的数值问题。同时，现代优化器如L-BFGS或Adam能有效处理这种凸优化问题。

2. 多元分类扩展：Softmax回归

2.1 从二分类到多分类

当面对K>2个类别的分类问题时，有两种主要策略：

1. 一对多(One-vs-Rest)：训练K个二分类器
2. Softmax回归：直接扩展逻辑回归处理多分类

Softmax回归的核心思想是为每个类别计算一个得分，然后通过Softmax函数将这些得分转换为概率分布。具体计算过程分为三步：

1. 计算各类别得分：