超越准确率陷阱:用Titanic案例掌握机器学习模型评估的实战艺术
当你在Kaggle上第一次用Scikit-learn跑通Titanic生存预测时,看到屏幕上跳出"准确率82%"的提示,是否曾困惑:这个数字真的可靠吗?为什么同一个数据集上逻辑回归和梯度提升树的准确率相近,但实际预测效果却大相径庭?本文将带你穿透表象,掌握模型评估的核心方法论。
1. 准确率的局限性:为什么单一指标会误导判断
在Titanic数据集中,假设62%的乘客最终遇难。如果一个模型简单预测所有乘客都死亡,它的准确率就能达到62%——这显然不是我们想要的"智能"预测。这就是著名的准确率悖论。
1.1 混淆矩阵:拆解预测结果的四种情况
让我们用以下代码生成一个基础的混淆矩阵:
python复制from sklearn.metrics import confusion_matrix
import seaborn as sns
# 假设y_true是真实标签,y_pred是模型预测
cm = confusion_matrix(y_true, y_pred)
sns.heatmap(cm, annot=True, fmt='d')
在生存预测场景中,混淆矩阵的四个象限对应着:
- 真正例(TP):正确预测的幸存者(我们希望最大化)
- 假正例(FP):将遇难者误判为幸存(可能浪费救援资源)
- 真负例(TN):正确预测的遇难者
- 假负例(FN):将幸存者误判为遇难(最严重的错误)
1.2 关键衍生指标及其业务含义
基于混淆矩阵,我们可以计算更细致的评估指标:
| 指标 | 公式 | Titanic场景中的意义 |
|---|---|---|
| 精确率(Precision) | TP/(TP+FP) | 预测为幸存者中实际幸存的比例 |
| 召回率(Recall) | TP/(TP+FN) | 实际幸存者中被正确识别的比例 |
| F1分 |
