1. 理解NRI与IDI:模型比较的两把尺子
当你手上有两个预测模型,比如用逻辑回归做的疾病风险预测模型,或者用Cox回归做的生存分析模型,怎么判断新模型比旧模型好多少?光看AUC可能不够,这时候就需要NRI(净重新分类指数)和IDI(综合判别改善指数)这两把专业尺子。
NRI就像考试改卷老师:假设旧模型把100个病人分成"高风险"和"低风险"两组,新模型重新分类后,有20人从低风险升到高风险(其中15人确实是病人),有10人从高风险降到低风险(其中8人确实不是病人)。那么NRI = [(15-5)+(8-2)]/100 = 0.16,说明新模型比旧模型多正确分类了16%的人。
IDI更像精确度提升检测仪:它计算的是新模型在病人群体中预测概率的平均提升幅度,减去在非病人群体中预测概率的平均下降幅度。比如病人预测概率平均增加0.05,非病人平均减少0.02,那么IDI=0.05-(-0.02)=0.07。这个值越大,说明模型区分能力提升越明显。
我在心血管疾病预测项目中就遇到过:新模型AUC只提高了0.02看似不大,但NRI达到0.31,临床医生立刻意识到这个改进很有价值——因为这意味着每100个患者中能多正确分类31人。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 二分类数据的实战操作
2.1 数据准备与模型构建
我们先模拟一个典型的医学数据集:
r复制set.seed(123)
patient_data <- data.frame(
age = rnorm(1000, mean=50, sd=10),
bmi = rnorm(1000, mean=24, sd=3),
cholesterol = rnorm(1000, mean=5, sd=1),
diabetes = sample(0:1, 1000, replace=TRUE, prob=c(0.7,0.3))
)
构建新旧两个逻辑回归模型:
r复制# 旧模型只使用年龄和BMI
old_model <- glm(diabetes ~ age + bmi, data=patient_data, family="binomial")
# 新模型加入胆固醇指标
new_model <- glm(diabetes ~ age + bmi + cholesterol,
