RAG系统测试：构建可控可验证的检索增强生成架构

1. RAG系统测试的必要性与挑战

在XR教学编辑器的RAG Copilot项目实践中，我们发现了一个关键现象：构建RAG系统的真正难点不在于模型能力本身，而在于系统的可控性与可验证性。几乎所有RAG系统都能跑通基础流程——从PDF文档解析到文本分块，再到向量检索和LLM生成回答。但要让系统真正可靠地服务于生产环境，必须解决三个核心问题：

首先，系统给出的回答是否真的源自提供的文档内容？我们经常遇到模型"自由发挥"的情况，特别是当问题与文档内容边界模糊时。其次，当我们调整分块策略（chunk size）、更换embedding模型或修改检索参数时，如何确保系统性能不会意外退化？第三，如何验证系统的安全边界，防止恶意输入导致不当输出？

关键认知：RAG系统的质量保障不能仅依赖最终回答的观感评估，必须建立可量化的验证体系。

传统测试方法往往只关注"问题→回答"的端到端验证，这存在明显缺陷：当回答错误时，我们无法快速定位是检索阶段的问题还是生成阶段的问题。更糟糕的是，某些表面正确的回答可能来自模型的先验知识而非文档内容，这会导致严重的"正确性幻觉"。

2. RAG测试体系架构设计

2.1 系统架构与测试切入点

我们的XR Copilot采用典型RAG架构：

code复制文档解析 → 文本分块 → 向量化 → 向量检索 → LLM生成

对应的测试验证点应覆盖全链路：

code复制问题输入 → 检索结果 → 支持证据 → 最终回答

这种分层验证机制可以精准定位问题环节。例如：

• 检索阶段问题：表现为相关chunk未被召回
• 生成阶段问题：虽然召回正确chunk但回答错误
• 安全边界问题：对超出文档范围的问题处理不当

2.2 测试资产的三位一体

我们构建了三个核心测试文件：

1. rag_testset.md：标准问题集（黄金数据集）
2. retrieval_eval.xlsx：检索质量评估表
3. rag_security_cases.md：安全测试用例集

这种设计实现了测试关注点的分离：

• 功能正确性（问题集）
• 检索可靠性（评估表）
• 系统安全性（测试用例）

3. 黄金问题集构建实践

3.1 问题设计方法论

rag_testset.md文件包含四