LLM - 大模型评估指标之 ROUGE 实战：从理论到代码的完整指南

1. ROUGE评估指标：大模型输出的"质检员"

当你用ChatGPT生成一篇摘要，或是让Claude写会议纪要时，有没有好奇过这些AI生成的文本质量如何量化评估？这就轮到ROUGE指标大显身手了。作为自然语言处理领域的"老牌裁判"，ROUGE（Recall-Oriented Understudy for Gisting Evaluation）专门用来衡量生成文本与人工参考文本的相似度。

我第一次接触ROUGE是在评估新闻摘要模型时。当时团队训练了一个BERT-based的摘要模型，需要客观指标证明其效果优于传统方法。试过人工评估后发现成本太高，而ROUGE就像个不知疲倦的质检员，能快速给每篇生成摘要打出可量化的分数。

ROUGE家族有四个核心成员：

• ROUGE-N：计算n-gram重叠率，比如ROUGE-1看单词匹配，ROUGE-2看词组匹配
• ROUGE-L：关注最长公共子序列，能捕捉句子结构的相似性
• ROUGE-W：改进版的LCS，给连续匹配更高的权重
• ROUGE-S：考虑跳词组合（skip-bigram），更灵活地评估语义关联

实际项目中，我通常会同时计算这四种指标。比如在电商评论摘要任务中，ROUGE-1反映关键词覆盖度，ROUGE-L检查语句通顺度，组合使用能全面评估模型表现。

2. 深入理解ROUGE计算原理

2.1 ROUGE-N：从单词到词组的匹配艺术

ROUGE-N的计算公式看似简单：

code复制ROUGE-N = 匹配的n-gram数量 / 参考文本的n-gram总数

但实际操作中有不少细节需要注意。去年评估一个金融报告摘要系统时，我发现同一个模型在ROUGE-1和ROUGE-2上的表现差异很大。通过下面这个例子就能明白原因：

参考文本：
"央行宣布降准0.5个百分点 释放长期资金约1万亿元"

生成文本：
"央行降准释放1万亿元资金"

计算ROUGE-1：

• 匹配的unigram："央行"、"降准"、"释放"、"1"、"万亿元"、"资金" → 6个
• 参考文本总unigram数：11个
• ROUGE-1 = 6/11 ≈ 0.545

计算ROUGE-2：

• 匹配的bigram："央行 降准"、"释放 1"、"万亿元 资