模型换了、系统提示词改了、用户输入稍带点方言,兜底回复就开始胡言乱语。这大概是所有提示工程从业者都经历过的尴尬时刻。很多人把“测 prompt”理解为在对话框里多聊几句,看起来没问题就上线,结果线上真实流量一进来,各种边界 case 全崩。其实提示系统想要稳定,需要的不是手感,而是一套可复现、可量化的测试方法和工具链。
这篇文章我打算从自己搭建评测体系的实际经验出发,讲清楚三件事:提示系统为什么要单独做测试、到底该测哪些维度、用什么方法和工具把这些测试落地到日常开发里。内容会比较实在,适合正在做 Agent、聊天机器人、内容抽取这类功能的工程师和架构师参考。
1. 先搞清楚为什么提示系统不能靠“感觉”来测
1.1 提示词不是代码,但更需要在线上前被验证
普通代码写错了直接报错或返回错误结果,快速可感知,但提示词出问题往往是“看起来都对、实际全错”——模型返回了流畅的文本,却把关键实体漏了,或者把用户指令理解偏了。更麻烦的是,同一个 prompt 加上同一个输入,换一个模型版本、调一下 temperature,得到的结果就不一样。这种不确定性决定了提示系统必须用工程化的手段来对抗飘忽不定的输出。
我团队里有个项目是做客服工单的自动分类,刚开始负责人说“多测几个话题都挺准”,上线第二天就翻车:用户一个长句子带了好几个诉求,分类结果直接乱掉。后来我们复盘发现,当时根本没有标准测试集,也没有判定“准不准”的统一口径,所谓的“挺准”全凭个人感觉。从那以后,我在所有涉及 prompt 的项目里都会强制推行一套测试流程。
1.2 提示系统测试和传统软件测试的本质差异
传统软件测试验证“程序是否按需求实现”,而提示系统测试验证的是“模型输出是否满足用户意图与业务约束”。前者偏向确定性断言,比如输入 1+1 期望返回 2;后者天然带有语义开放性,比如“请总结这段对话”,合理的总结结果有很多种,不能只靠一个字符串去比对。
这就带来两个转变:第一,断言方式从精确匹配变成语义相似度、规则校验、人工评估的混合策略;第二,测试用例的设计需要覆盖语言表达多样性、极端输入、对抗性输入,而不是只测常规路径。换句话说,提示系统测试更像在做质量评测体系,不是简单地跑自动化用例。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
