ROC曲线与PR曲线：分类模型评估的核心指标详解

说实话，白天在实验室里调参调了一天，晚上回来翻开Day 17的打卡本，刚好轮到ROC曲线和PR曲线。这俩曲线是分类模型绕不开的“体检项目”，几乎每一次论文审稿、每一次算法面试、每一次上线前评估都会撞上它们。如果你最近也在学机器学习、做分类任务，或者被“AUC多少”“AP多少”这些问题问住过，那这篇应该正是你需要的。

这一篇我不会照搬教材定义，而是按我真实的学习路径来写：先从最底层的混淆矩阵把公式捋顺，再分别讲ROC和PR这两条曲线到底在干什么、它们的区别藏在哪，最后用完整的Python代码复现一遍，再补几个我实际踩过的坑。争取看完之后，你不光会画图，还能跟别人讲清楚为什么有时候ROC很好看、PR却一塌糊涂。

1. 这一课到底在解决什么问题

1.1 之前几天的“准确率”威慑从哪来

Day 17之前的打卡里，我连续写了很多关于特征工程、简单模型训练的内容，每次看模型效果时都会顺手打印accuracy_score。准确率高的时候，比如95%、98%，心里确实踏实。但有一天我拿一份线上用户点击数据集练手，正样本（点击）只有2%出头，模型“全预测为不点击”就能拿到98%的准确率。那一刻我意识到，靠单一准确率给模型打分，跟只看体重判断一个人健不健康差不多，体重异常大概率有问题，体重正常也完全可能是“隐形肥胖”。

准确率这个指标在类别均衡的时候还能凑合用，一旦碰到类别不平衡，它就非常容易“骗人”。这也是我专门把ROC曲线和PR曲线放在同一天学的原因——它们都是从更细的颗粒度去拆解“预测到底好不好”，而不是简单数一数答对了几道题。

1.2 为什么偏偏要学两个曲线

一开始我也很疑惑：既然ROC曲线都能画出来，为什么还要再来一个PR曲线？直接选一个用不就行了？后来在推导公式和跑实验的过程中才慢慢意识到，两条曲线看问题的角度不一样。ROC曲线关注的是“在所有正样本里我抓住了多少”和“在所有负样本里我误伤了多少”，这种视角在正负样本相对均衡时很管用。而PR曲线关注的是“我预测为正的那些样本里，有多少是真的正样本”，这在正样本特别稀少的时候，才是更贴近业务痛点的视角。

可以这么理解：ROC曲线更像宏观体检，看整体指标是否协调；PR曲线更像专项复查，专盯少数派样本有没有被“淹没”。两条曲线各有各的适用场景，不应互相替代，而是配合使用。

2. 先把这些绕不开的术语一次说透

2.1 混淆矩阵：四个格子决定所有指标

要讲清楚ROC和PR，必须先从混淆矩阵开始。很多教程上来就写公式，结果读者连TP、FP、TN、FN的英文和中文都对应不上，后面全乱套。我自己记这四类结果的办法是抓住一个核心标准：预测正类，但猜得对不对。

• TP（True Positive）：真实是正，预测也是正。这个叫“真正类”，是模型最希望做对的事情。
• FP（False Positive）：真实是负，预测却是正。这就是“假正类”，模型犯的错是“把好人当坏人”。
• TN（True Negative）：真实是负，预测也是负。这个通常不太起眼，但在某些业务里同样重要。
• FN（False Negative）：真实是正，预测却是负。模型犯的错是“把坏人放跑了”。

用信用卡欺诈检测来举例：欺诈交易就是我们要抓的“正样本”。如果一笔欺诈交易被模型拦下来报警，那就是TP；如果一笔正常交易被误报成欺诈，那就是FP；如果模型放走了一笔欺诈交易，那就是天大的FN。注意，FN的代价有时候比FP高得多——放走一笔欺诈可能损失几千上万，多拦几笔正常交易顶多就是用户多接几个验证电话。

这里有个小白容易忽略的点：混淆矩阵的“正”“负”是人为指定的。通常我们把“少数类”“重点关注的类”“代价更高的类”定义为正类。定义反了，所有指标的含义会跟着反转，务必要在项目一开始就统一口径。

2.2 TPR、FPR、Precision、Recall，别再用中文硬背

四个核心指标其实都是从混淆矩阵的四个格子算出来的，我把它们放到一张表里，方便对照记忆：

有一个很容易绕晕的点：TPR和Recall明明是同一个公式，为什么换了个名字？因为它们的“出场语境”不同。TPR是跟着FPR成对出现的，用于画ROC曲线；Recall是跟着Precision成对出现的，用于画PR曲线。就像同一个人在公司叫“张工”，在家里叫“老张”，名字不同，身份一样。

我之前用过一个生活化的类比来记Precision和Recall的区别：想象你在果园里摘苹果。Precision高，意思是你摘进筐里的基本都是好苹果，很少捡到烂的；Recall高，意思是树上所有好苹果你基本都摘到了，没漏掉多少。摘得又快又多，可能筐里混进几个烂的，Precision掉下来；摘得特别挑剔，可能漏掉一些角落里的好苹果，Recall掉下来。这两个指标天然存在“此消彼长”的关系，后面画PR曲线时会看得更清楚。

3. ROC曲线的原理与实战认知

3.1 从雷达操作员到机器学习：ROC的诞生逻辑

ROC的全称是Receiver Operating Characteristic Curve，接受者操作特性曲线。它的起源很有意思：二战时期雷达兵需要根据屏幕上的信号判断“前方是敌机还是噪音”，信号强就报“有敌机”，信号弱就报“没敌机”。但到底信号多强才算“有敌机”？如果阈值定得太低，容易把飞鸟、云层误报成敌机；阈值定得太高，又容易放跑真正的敌机。雷达操作员需要一套工具来评估“不同阈值下，我的判断能力到底怎么样”，ROC曲线就这样被发明了出来。

这段历史对理解ROC的本质特别重要。它天生就是用来回答“不同判断标准下，模型的识别能力如何”的。放到机器学习里，绝大多数分类模型输出的并不是0/1标签，而是一个概率值。比如逻辑回归输出0.73，随机森林输出0.81，这时候我们需要定一个阈值，比如大于0.5就判为正类，否则判为负类。阈值一改，TPR和FPR都会跟着变。

3.2 一把尺子量所有阈值：曲线是怎么画出来的

ROC曲线的横轴是FPR，纵轴是TPR。如果我们把所有样本按预测概率从高到低排序，然后从“最严格”到“最宽松”不断移动阈值，每移动一次，就能算出一组(FPR, TPR)。把这些点依次连起来，就是ROC曲线。

拿一个只有5个样本的小例子来手算一遍，理解会更深刻。假设真实标签是[1, 1, 0, 0, 0]，模型给出的预测分数分别是[0.9, 0.8, 0.7, 0.2, 0.1]：

• 阈值设为0.95：没人被判为正，TPR=0，FPR=0，这是曲线的起点。
• 阈值设为0.85：只有第1个样本（真实为1）被预测为正，TPR=1/2=0.5，FPR=0。
• 阈值设为0.75：前两个样本都被预测为正，TPR=2/2=1.0，FPR=0。
• 阈值设为0.65：前三个样本都被预测为正，TPR=2/2=1.0，FPR=1/3≈0.33。
• 阈值设为0.15：前四个样本都被预测为正，TPR=2/2=1.0，FPR=2/3≈0.67。
• 阈值设为0.05：全部样本都被预测为正，TPR=1.0，FPR=1.0，这是曲线的终点。

这组点连起来就是一个典型的ROC曲线形态：先垂直向上走，再水平向右走，说明模型能在一个很低的误报率下把正样本全部捡回来。如果这条线越靠近左上角，说明模型越优秀；如果贴近对角线，那基本等价于瞎猜。

我特别建议初学者手动推一遍这个小例子。之前带学弟学妹的时候，让他们自己算一遍，比单纯看十遍教程都管用。因为只有亲手移动阈值、亲手算TPR和FPR，才能真正理解“曲线上的每个点都对应一个阈值”这件事。

3.3 AUC到底是什么，以及它最大的坑

AUC就是ROC曲线下方的面积（Area Under the Curve），它是一个把整条曲线压缩成的单值指标，范围在0到1之间。AUC=0.5代表随机猜测，AUC=1代表完美分类器。实际项目里，0.7到0.9都算常见区间，0.9以上就要小心是不是出了数据泄漏。

AUC有一个非常好用的概率解释：随机抽一个正样本和一个负样本，模型给正样本打分高于负样本的概率就是AUC。这个解释意味着AUC衡量的其实是“排序能力”，而不是“校准能力”。它能告诉我们“正样本是否排在负样本前面”，但无法告诉我们“这个0.73的概率是否真的代表73%的可能性”。

AUC最大的坑，我愿称之为“不平衡数据下的盲目乐观”。在负样本远远多于正样本的场景下，FPR的分母是“所有真实负样本的个数”，这个数字非常大，导致FP即使增加很多，FPR的变化也不明显。举个例子：10000个负样本里，模型多报错50个，FPR只从0.02涨到0.025；可这时候Precision可能已经从0.8掉到0.6了。ROC曲线看起来依旧漂亮，但业务上已经误伤了一大片用户。这就是为什么在样本不平衡时，PR曲线往往更能说明问题。

4. PR曲线的原理与实战认知

4.1 Precision和Recall的“此消彼长”

PR曲线的横轴是Recall（召回率），纵轴是Precision（精确率）。之所以说它俩“此消彼长”，是因为你很难同时把两个指标都拉到极高。

还是用抓欺诈交易的例子。如果你把预测阈值调得很低，模型会倾向于把更多交易判为欺诈，于是Recall很高，漏掉的欺诈变少；但代价是大量正常交易也被拦截，Precision直线下降，客服团队会被误报淹死。反过来，如果阈值调得很高，只有模型特别有把握才判为欺诈，Precision会很漂亮，毕竟敢拦下来的基本都是真欺诈；但Recall会非常难看，因为大量欺诈交易被放过了。

业务上需要根据成本结构找一个平衡点。有的业务“宁可错杀一千，不可放过一个”，那就优先保Recall；有的业务“误报一次成本极高”，那就优先保Precision。PR曲线正好把这种权衡关系完整地展示了出来。

4.2 PR曲线怎么画，和ROC比赢在哪

PR曲线的画法和ROC类似，也是从高到低移动阈值，每移动一次算一组(Recall, Precision)，连点成线。它的起点在右上角，终点在左下角。还有一点细节很多教程不会提：sklearn的precision_recall_curve返回的数组里，Precision和Recall的最后一个点会被补成(Precision=1, Recall=0)，表示“阈值高到极致时，一个正样本都不预测”，方便曲线有个完整终点。这个细节在很多人第一次画PR曲线时都会感到困惑，以为代码出错了，实际上这是库的固定行为。

ROC和PR最大的区别在于对待“负样本数量”的态度。ROC把FP放在分母里去计算FPR，因此受负样本基数影响很大；PR直接拿FP和TP做对比，只关心“预测为正的样本里掺了多少杂质”。在正样本极其稀少的情况下，PR曲线对模型识别少数类能力的刻画更敏锐。

我做过一组对比实验：构造一个正样本占5%的数据集，加一些噪点特征让模型略微过拟合。ROC曲线下面积从0.91变成0.89，看起来“还行”；PR曲线下面积（AP）却从0.76掉到0.53，直接拦腰斩断。相比之下，PR曲线传递的信号要强烈得多。这也是为什么在互联网广告点击率预估、欺诈检测、罕见病筛查等正样本稀缺的场景，评估报告里几乎一定会放PR曲线。

4.3 什么场景必须用PR曲线

不是所有项目都必须死磕PR曲线，但有几类场景我建议条件允许就一定要看。

第一类是正样本占比极低的场景，比如广告点击率、欺诈交易、异常检测、疾病筛查，正类可能只有1%甚至更低。ROC曲线在这种场景下往往过于钝感，AUC可能0.95以上，但实际模型根本没有抓到几个正样本。PR曲线能把这种“虚胖”打回原形。

第二类是“预测为正”的代价不对称的场景。比如垃圾邮件拦截，把正常邮件误判成垃圾邮件，用户可能因此错过重要信息，代价很高，所以必须严格看Precision；比如癌症筛查，漏诊的代价远高于误诊，所以必须保Recall。这些业务决策如果只看ACC或AUC，很容易做出不符合实际需求的判断。

第三类是模型上线前的最终评估。我习惯ROC和PR同时打出来，如果两者都健康，模型大概率没问题；如果ROC很健康、PR很拉胯，那基本可以断定模型在少数类上表现不佳，需要继续调。

5. 实操：用Python把两条曲线一次画明白

5.1 造一份类别不平衡的数据集

理论讲得再多，都不如自己动手画一遍。我直接用scikit-learn生成一份模拟数据，故意把正样本比例调低到5%，复现一个典型的不平衡分类问题。代码如下：

python复制import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import (
    roc_curve, auc,
    precision_recall_curve, average_precision_score,
    confusion_matrix
)

X, y = make_classification(
    n_samples=5000,
    n_features=20,
    n_informative=10,
    n_redundant=5,
    weights=[0.95, 0.05],   # 5% 正样本
    random_state=42
)

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y
)

print(f"训练集正样本占比: {y_train.mean():.4f}")
print(f"测试集正样本占比: {y_test.mean():.4f}")

注意这里train_test_split加了stratify=y，也就是分层抽样。如果不加，随机切分可能导致测试集里正样本更少，评估结果波动很大。这个细节在样本不平衡时极其重要，我见过不少人在这上面吃闷亏。

5.2 训练模型并计算指标

模型我先用随机森林，追求的不是效果极致，而是把流程跑通：

python复制model = RandomForestClassifier(n_estimators=200, max_depth=8, random_state=42)
model.fit(X_train, y_train)

y_prob = model.predict_proba(X_test)[:, 1]

有人会问，为什么不直接用model.predict得到的0/1标签去算指标？因为predict隐含了一个默认阈值0.5，而ROC和PR曲线恰恰是为了摆脱“某个固定阈值”的局限，考察模型在所有可能阈值下的综合表现。所以我们一定要用predict_proba输出的概率分数。

然后是计算曲线数据：

python复制# ROC
fpr, tpr, thresholds_roc = roc_curve(y_test, y_prob)
roc_auc = auc(fpr, tpr)

# PR
precision, recall, thresholds_pr = precision_recall_curve(y_test, y_prob)
ap = average_precision_score(y_test, y_prob)

print(f"AUC: {roc_auc:.4f}")
print(f"AP : {ap:.4f}")

5.3 画图与结果解读

画图部分我习惯把两条曲线拼在一张画布里，方便对比。代码如下：

python复制fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(12, 5))

# 左图：ROC
ax1.plot(fpr, tpr, color="crimson", lw=2, label=f"ROC (AUC = {roc_auc:.3f})")
ax1.plot([0, 1], [0, 1], color="gray", linestyle="--", label="Random")
ax1.set_xlabel("False Positive Rate (FPR)")
ax1.set_ylabel("True Positive Rate (TPR)")
ax1.set_title("ROC Curve")
ax1.legend(loc="lower right")
ax1.grid(alpha=0.3)

# 右图：PR
ax2.plot(recall, precision, color="teal", lw=2, label=f"PR (AP = {ap:.3f})")
ax2.axhline(y=y_test.mean(), color="gray", linestyle="--", label="Baseline")
ax2.set_xlabel("Recall")
ax2.set_ylabel("Precision")
ax2.set_title("PR Curve")
ax2.legend(loc="upper right")
ax2.grid(alpha=0.3)

plt.tight_layout()
plt.show()

看结果的时候，ROC图重点看曲线向左上角弯的程度，AUC是它的单值化；PR图重点看曲线是不是明显高于那条灰色水平线。那条灰色水平线的值等于测试集正样本占比。如果正样本占比是0.05，那意味着“完全不看特征、瞎猜有5%概率猜中正样本”的Precision就是0.05，PR曲线只有明显高于这条基线，才说明模型真的学到了东西。

我跑这份数据时的结果是AUC约0.94，AP约0.71。光看AUC会以为模型相当能打，但AP只有0.71说明模型在少数类上还有明显漏检和误报。如果这个模型要上线做欺诈拦截，0.71的AP是远远不够的。

6. 用一个极端案例理解ROC和PR的分道扬镳

6.1 手算一个几千分之一的正样本场景

为了彻底说清楚为什么PR能撕下ROC的“遮羞布”，我构造了一个极端案例：10000个样本里只有10个正样本，也就是正样本占比千分之一。假设两个模型在某个阈值下，都抓到了8个正样本，即TPR=0.8。

模型A在该阈值下FP=20，模型B在该阈值下FP=200。我们来算一下关键指标：

模型A和模型B的TPR完全一样，模型A的Precision是0.286，模型B只有0.038。可它们对应的FPR分别是0.002和0.020，虽然在ROC曲线上两个点的横坐标有差距，但如果放在整条“0到1”的横轴里看，它们看起来都离左侧很近，都“还行”。而PR曲线直接把这个差异放大到7倍以上，一眼就能看出模型B的预测结果里充斥着大量误报——约96%的报警都是错的，这在业务上是完全不可接受的。

6.2 ROC看着很美，PR却当场“翻车”

继续沿着上面的例子想：如果业务是“给10000个用户发优惠券，其中只有10个人会真正转化”，模型B每天推送200个假正样本给运营团队，运营就得把200条线索全部人工核对一遍，其中只有8条有价值的。这种模型在ROC曲线上可能还是“AUC 0.9以上的优秀模型”，但PR曲线会诚实告诉你：你推给我的线索只有3.8%是真的。

做算法的朋友可以自查一下：你上一次满意的“AUC 0.95”，对应的AP是多少？如果之前没算过AP，强烈建议回去补一下，很多你以为效果很好的模型可能在AP上惨不忍睹。

7. 常见问题与排查技巧实录

7.1 平时最容易踩的五个坑

第一个坑：用predict出来的0/1标签去画ROC和PR。后果是曲线只有一两个点，形态完全失真。应该用predict_proba的概率输出，让阈值可以连续移动。

第二个坑：类别不平衡时只用ROC+AUC做评估。后果是模型看起来很好，上线后业务方发现误报率极高。解决办法就是同时打印PR曲线和AP，两者结合判断。

第三个坑：把正负类定义反了。有的框架默认把0当作正类，有的默认把1当作正类，如果不检查model.classes_，画出的曲线可能完全反了。建议在画图前先打印confusion_matrix看看正类是不是自己期待的那个。

第四个坑：不了解precision_recall_curve返回多一个点。很多人看到Precision数组比Recall数组多一个元素，以为代码错了，其实是库特意补的终点(Recall=0, Precision=1)，不要删，主流的绘图方式都兼容这个点。

第五个坑：数据集划分时忘了分层抽样。类别不平衡时，如果不用stratify，测试集很可能分不到几个正样本，算出来的指标方差极大。这个问题的隐蔽性很高，因为代码不会报错，只会让你觉得模型效果忽好忽坏。

7.2 排查思路速查表

如果发现模型指标异常，我一般按下面的顺序排查：

多说一句数据泄漏的问题，这是AUC虚高最常见的原因。比如做时序预测时不小心把“未来一个月均值”当特征放进模型，或者做去重时让同一用户的样本同时出现在训练集和测试集里，AUC能轻松刷到0.99。曲线图越完美，越要警惕数据上的“作弊”，而不是急着庆祝。

8. 最后再说两句大实话

Day 17学到这，最大的感受是：评估指标不是越多越好，而是越“对问题”越好。ROC曲线回答的是“排序能力”，PR曲线回答的是“少数类预测能力”，两者结合，才能给一个分类模型画出完整的画像。

如果让我给一条最实用的建议，那就是从今天开始，每次跑完分类模型，除了打印accuracy，顺手把ROC曲线、PR曲线、混淆矩阵、AUC、AP全部打出来。哪怕刚开始看不太懂，坚持几周后，你对模型“到底行不行”的感觉会敏锐很多。模型好不好，肉眼能看出来的庸俗标准就是曲线漂亮、指标稳定、业务上解释得通——这三条占齐了，基本可以放心上线。