我第一次看到产品需求文档里出现“文本级语义与变更标记”这几个字时,第一反应是:这又是一个把三个术语拼在一起唬人的PRD词汇?等真正动手做下去才发现,它背后藏着一个非常实际的问题——两个版本的同一篇内容,哪里被改了、改了什么、改完之后意思有没有变,这三件事光靠肉眼和普通diff工具根本说不清楚。
这篇内容最适合的人群有三类:一类是做文档协作、内容审核、翻译管理或CMS系统的人,你们大概率正在被“版本对比太粗糙”困扰;一类是做NLP应用开发的同学,想找怎么把语义相似度用到实际业务里的落地案例;还有一类是产品经理,想搞清楚这个听起来很虚的“文本级语义”到底能做什么、需要什么边界、该提什么需求。全文不绕弯子,直接讲清楚思路、数据结构和踩过的坑。
1. 从“段落级”到“Text-level”:粒度革命带来的连锁反应
1.1 旧的对比方式为什么撑不住
先回到常规做法。早期我做过在线文档系统,版本对比基本是两种方案:要么整篇做字符串diff,输出结果是“第X段变了”;要么用逐行diff,按住Ctrl键可以看到删掉哪些行、新增哪些行。这两种方案对代码项目很友好,因为程序代码的语义单元是行,一行一个逻辑;但放到自然语言内容上,整段文字排成了一行又一行,用户看到的是一个整段标黄,里面到底改了主语还是改了结论,还是得自己一个字一个字读。
这样会造成一个很尴尬的局面:编辑审稿时收到一份三段变黄的文档,需要自己重新逐句跟旧版核对;内容发布人员做合规复核时,明明只改了一个日期和一个术语,整个段落却被标记为“已变更”,导致审核人以为这是个重写段,投入时间对全文进行二次审核。这不光是效率损失,还带来流程信任问题——版本对比的结果没法直接指导“哪里要通过、哪里要退回”。
更棘手的是句子内部的结构变化。把“甲方应于收到通知后三日内履行义务”改成“甲方收到通知后三日内应当履行义务”,传统diff可能会判为“删除了一整句,又新增了一整句”。实际上语义几乎没有发生任何变化,变更的性质完全是另一码事:前者是语法顺序调整,后者是同一句话的被动改写,而真正的实质变更,比如把“三日”改成“五日”,在这种粗粒度对比下反而被淹没在一整片黄色里。
1.2 文本级变更到底要回答哪几个业务问题
把粒度往下压到句子内部甚至短语级别后,我希望系统能回答的问题变得具体起来:
- 哪个词或短语被删掉了、新增了、替换了?
- 被替换的两个词在语义上是什么关系——是同义替换、反义对调、术语纠正还是彻底改写了?
- 有没有发生过语句顺序调整?同一个句子在文档里被挪了位置,这不是“删掉再新增”,它应该被识别成“移动”。
- 删除/新增的内容是否带来了语义倾向的变化?例如“我们不建议采取该方案”被改成“我们强烈反对采取该方案”,两句长度接近,普通diff只能识别出“强化反对”几个字变了,但从语义层面看,这是结论强度的变化。
这些问题的背后是三个不同的业务诉求:版本审计(准确地告诉用户什么被修改了)、审阅流转(让审核人把注意力集中在真正的实质变更上)、内容检索与归档(历史版本的语义变化能否结构化存储,便于后续追溯某类转述在哪些文章里反复出现过)。
1.3 粒度细化后“标记”不再是装饰,而是数据
很多人以为“变更标记”就是给文本画上删除线、下划线、高亮背景,这是视觉层面的理解。粒度一旦细到文本级、语义级,标记本身就必须成为一种结构化数据:每条变更都要记录位置(在哪一段、哪一句、哪个词区间)、类型(增/删/改/移/改写)、相似度、操作前后的语义描述。它不再只是给人看的装饰,而是要支撑三件事:
- 让前端渲染出精确的标记效果;
- 让后端能把变更记录存成审计历史;
- 让后续流程(比如审批、评论、回滚)与被标记的文本片段建立起稳定的引用关系。
如果一开始只做“红绿高亮”,后面所有功能都会推倒重来。我把这个教训放在第一节说,是因为后面所有数据结构设计都建立在“标记=数据”这个前提下。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 机器如何“看懂”改了什么:文本级语义分析的工作边界
2.1 语义不是玄学,是可计算的文本相似关系
在我动手之前,我设想的“语义分析”是:能判断一段话被改写后是否还表达同一个意思,能识别出删除的是无关紧要的形容词,还是核心结论。但第一版实验做出来之后,我发现必须严格控制这个预期,否则项目会死在“理解无止境”里。
实际工作中我用的是一个退而求其次但非常有效的定义:语义不是“读懂文本”,而是“算出文本之间的距离”。我们要做的不是让机器判断“这句话是好是坏、是真是假”,而是让机器回答:两个文本片段,表达的核心意图是否一致?差异发生在哪个粒度的成分上?一旦把问题定义成相似度计算,技术选型就清楚了:分词、停用词过滤、词向量/句向量编码、相似度打分、阈值判定。这套链条不需要玄学,每一步都有明确输入输出。
以“甲方应于三日内付款”和“甲方需要在三天内结清款项”为例,传统字符diff会得到低频词汇几乎全不同的结果,几乎是把整句标记成“双重删除+双重新增”。语义模型需要做到的是:识别出“三日内”约等于“三天内”、“付款”约等于“结清款项”、“应”约等于“需要”,最终给出一个很高的语义相似度,并把差异定位到“原句的措辞被替换为同义表达”这一个操作上。这里真正考验的不是某一个模型有多强,而是前后端系统的分工是否合理。
2.2 文本对齐:先切块,再对齐,别一上来就算距离
直接对两个版本做整篇向量比较是很省事,但输出的结果完全不可用。原因是结果里没有任何位置信息,你怎么告诉读者“第2章第3段后半句的立场被弱化”了?所以我的处理思路是:先做层级对齐,再做块级语义比。
具体分三层:
- 篇章层:先把文章按段落结构拆开,判断哪些段落是新加的、哪些被删了、哪些进行了重排。这一层用最简单的字符串相似度就够,目的是大幅缩小后续对比的候选范围。
- 句子层:对可能发生变化的段落,按句号、问号、换行等边界切成句子,把新旧版本里的句子两两配对。
- 短语层:同一句内如果判定为局部修改,再把句子拆成子结构(主语段、操作对象段、时间条件等),做细粒度diff。
这三层顺序不能反。我见过有人直接用BIO标注做词级对齐,结果在长文档上效果不稳定,因为词级对齐依赖前面切分的质量,而段落切分、句子切分这类“笨功夫”反而最影响结果。一个经验值:段落对齐和句子对齐的准确率,直接影响最终变更标记准确率的百分之八十以上。语义模型再强,前面对齐错了,后面全错。
2.3 五类操作类型的判定逻辑
文本级标记最终落到业务界面上,必须是一组有限的、可以被用户理解的操作类型。我在系统里用了五种:new、delete、replace、move、rewrite。每种操作都对应明确的底层触发逻辑:
- new:新版本某段文本在旧版本中没有语义相似度足够高的配对对象。这里要注意阈值要放低或者用“内容覆盖率”来辅助判断。比如原来的文章根本没有提到某个条款,新版本整段加入,那这个段内所有句子都应该标为新增。
- delete:反向逻辑,旧版本有、新版本无。如果删除的是一个限定性短语,比如“尽合理努力”被删掉了,业务含义是完全不同的;所以删除标记不要只标到段落,要标到短语。
- replace:两处文本存在对应关系,但单点发生了词级替换,比如“30日”变“60日”、“应经甲方书面同意”中“书面”被替换为“预先”。
- move:这个在自然语言文档中尤其重要,因为传统diff会把位次调整处理成“删除原处内容并在新处新增”,信息量完全丢失。判定移动的核心是:先忽略位置信息做全局配对,如果两段文本的相似度很高,但它们在文档中的先后位置发生显著变化,就要打上move标记。业务上这叫“调整了条款位置”。
- rewrite:整句/整段文本经过改写后意思基本未变,但表达方式差异较大。这时按词级标增删会产生大量碎片标记,阅读体验非常差。我的做法是:当一个句子与另一个句子相似度在0.75以上,但词级diff的重合率低于0.4时,将整个句子作为rewrite呈现,并展示语义标签,例如“同义改写/语气弱化/主体互换/语序调整”。
2.4 阈值参数与相似度的计算过程
这一整块业务的命中率,本质上是调这些阈值的艺术。我把常用的配置给一份,是实测相对稳定的起始值:
| 参数 | 推荐起始值 | 说明 |
|---|---|---|
| 段落去重相似度阈值 | 0.6 | 用于判定两个段落是否可配对,低于此值可能为新增/删除段 |
| 句子对齐相似度阈值 | 0.55 | 句子候选配对的最低门槛 |
| rewrite 判定阈值 | 0.75 | 高于此值时尝试判定为改写而非增删 |
| 词级 replace 判定阈值 | 0.85 | 短语级片段用于判定局部替换,高于此值才认定对应的旧词与新词是一对 |
| 移动检测的最小跨度阈值 | 200字及以上,或跨越3个段落 | 防止“微调前后顺序”被误判为移动 |
阈值为什么是一个区间而不是固定值?因为内容类型对结果影响太大。法律合同里“30日”和“60日”是唯一实质变更,阈值要收紧;营销软文里一堆同义表达改写,阈值要适当放宽,把“改写”操作识别出来,否则用户会看到几十个替单词。这个调参过程最好是做成按文档类型可配置的,不要写死在代码里。
3. 变更标记的落地格式与渲染:把操作变成看得见的痕迹
3.1 为什么我选了增量JSON作为中间格式
第一次做这个功能的时候,我试图直接让前端脚本去读取两个版本的纯文本,然后用前端脚本现算差异,渲染标记。结果前端代码越来越复杂,性能也扛不住长文档,而且审计记录全部丢失——因为前端只消费结果,不做持久化。
后来调整思路:后端一次性算出变更,输出一份结构化的增量JSON,前端只负责渲染这份JSON,后端则把JSON作为审计快照入库。这样做了之后,整个链路清爽很多,而且以后接审批流、评论区、三级审核,都直接复用这份JSON。变更标记变得可追溯、可查询、可做权限过滤。
选JSON而不是XML,是因为JSON在Web端的使用成本最低,而且能用数组天然表达嵌套的偏移区间,另外我们可以方便地加一些扩展字段而不破坏渲染器。举例说,后期要支持多版本链式对比,只需在每条变更上增加一个reference字段并指向旧版本ID即可。
3.2 一个可工作的数据结构示例
下面是实际项目中一份简化后的有效结构。结构上最重要的是rangeStart和rangeEnd,所有变更都必须锚定到文本位置。只有锚定到位置,渲染器才能把标记画到正确的地方。
json复制{
"documentId": "doc_20241011",
"baseVersion": "v1.2",
"compareVersion": "v1.3",
"paragraphs": [
{
"paraId": "p3",
"action": "modified",
"oldRangeStart": 120,
"oldRangeEnd": 340,
"newRangeStart": 120,
"newRangeEnd": 370
}
],
"changes": [
{
"type": "replace",
"label": "期限缩短",
"oldText": "三十日内",
"newText": "十五日内",
"oldRangeStart": 152,
"oldRangeEnd": 157,
"newRangeStart": 152,
"newRangeEnd": 157,
"similarity": 0.62,
"semanticTag": "duration_narrow"
},
{
"type": "move",
"label": "条款顺序调整",
"oldText": "出现下列情形之一的,合同终止……",
"newText": "出现下列情形之一的,合同终止……",
"fromIndex": 2,
"toIndex": 5,
"similarity": 0.98
},
{
"type": "rewrite",
"label": "同义改写",
"oldText": "甲方必须在合同签订后立即支付预付款。",
"newText": "甲方应在签署合同当天完成首期款支付。",
"oldRangeStart": 240,
"oldRangeEnd": 280,
"newRangeStart": 240,
"newRangeEnd": 286,
"similarity": 0.83,
"semanticTag": "paraphrase"
}
]
}
有几个经验分享:
- oldRangeStart等坐标一定基于原版文本的Unicode偏移量,而不是字节偏移。中文一个汉字是一个字符,如果用字节偏移,JSON传到前端,charAt定位会错位。
- label是人读字段,不参与计算;semanticTag是机器可读字段,后续可以用来做聚合查询,比如“查一下这个版本里所有替换操作里有没有涉及期限变更的”,靠它来实现。
- 每次变更的oldText和newText做冗余存储,这样研发过程中排查问题会快很多,不需要每次都打开原文算坐标。
3.3 渲染层:删除线不是唯一选择,要做视觉降噪
拿到JSON后,最烂的渲染方式是把每个词级变更都加前后背景色。做过一轮用户测试后,我们收到大量反馈说“看不清改动在哪”。后来我们设计了一套视觉语言,核心就四个原则:
- 数值/日期/术语等重要实体变更,背景色使用高亮色,因为这类修改往往指向实际条款变化;例如用黄色表示期限数值变化。
- 同义替换使用下划线加波浪线标注,渲染成浅蓝,用户悬停可以看到“把A改为B,二者可视为同义”,避免一片亮黄色导致视觉焦虑。
- move 操作在旧的段落位置画一个带箭头的占位符,在新位置显示来源标记;折叠显示,用户可以一键展开对比。删除线和红色只用于真正的delete类型,不要把“改写”设计成红色删除线。为什么?用户看到红色删除线的习惯性理解是“内容被删掉、不可用”,但rewrite只是表达方式变了,语义仍保留。两种操作如果不区分视觉,会误导审阅者。所以我在系统里标注状态用的是文字标签,不只是样式。比如这样:
旧文本:甲方应在异议期内以书面方式提出。
新文本:甲方若存在异议,应在异议期内书面提出。
变更类型:改写(同义转述)
建议动作:可不需重点审核
系统会对语义Tag做规则映射,例如检测到replace、new且操作对象为核心名词短语时,会自动生成一个“重点审核”标记,减少人工筛查成本。
3.4 变更标记与评论、审批、回滚流程的关联
这部分在产品规划期最容易漏掉。很多人以为“语义变更标记”做出来后就结束了,实际上只有当标记和下游流程挂上钩,才真正产生价值。
以审阅流程为例:一篇法务合同在协作平台上流转,编辑把“三十日内付款”改成“十五日内付款”,这个变更被标为replace + numeric + contract_obligation。系统自动把这条变更推到法务的待审核列表里,法务人员可以直接在这个悬浮卡上点击“批准”或“退回修改”。退回时,系统会自动把旧版本的对应文本片段作为评论引用,而不需要人工复制一大堆原文。
技术上是如何做到的?我们为每条变更生成了一个32位的stableChangeId,这个ID由内容哈希加位置哈希共同生成,不随版本号变化。后续评论、审批、流转都只带这个ID。这样最有价值的一点是:如果同一处文本在v1.2到v1.3中被修改成A,在v1.4里被改回原样B,这两条记录可以通过同一个ID串联成历史图谱,展示一次完整的变更往返。否则修改记录就是断裂的,永远看不出来内容经历了什么。
4. 文本级语义diff的工程实现:从原型到能上线的调优之路
4.1 预处理比模型更决定成败
我先说工程上一个最反直觉的经验:在很多文档对比任务里,NLP模型对最终准确率的贡献只占三成,剩下的七成取决于文本预处理、正则规则和知识库词典。模型负责处理灵光一现的开放式改写,而规则负责处理那些文本中反复出现的确定性问题。
预处理环节里处理了这么几件事:
- 全角半角统一。一个文档里出现全角括号、半角括号,是常态,否则明明内容一模一样的两句,会因为字符编码不同被判成不同文本,产生大量假“新增/删除”。
- Unicode归一化。这主要是NFKC归一化。有些用户从PDF复制过来的文本会夹带特殊空格和特殊引号,这些字符肉眼分辨不出,但底层数值完全不同,不处理的话后续diff全是碎片。
- 去格式噪声。文档中存在大量XML标签、Markdown符号、脚注编号、图片占位。这些不应进入语义比对。我会把文本和格式剥离成两条流,格式流用单独的策略做比对(比如“加粗被取消”是排版变更,不算语义变更),文本流用来做语义比对。
- 固定不变内容过滤:把页眉页脚、公司地址、版权声明这类重复内容在第一层直接剥离掉,不要让它们污染后续的阈值计算。一个地址写错被修正确实也是变更,但页面每行都带页眉时,这个噪声会让整个段落相似度计算失真。
4.2 句子切分与短语块提取的注意点
句子切分在中文里看似简单。中英文处理差异很大:
中文句切,句号、问号、感叹号可以覆盖大部分场景,但有个坑是中文对话文本里引号中出现的句号不应该被看作句子结束。比如“他说:‘这个方案我不赞成。’然后离开了”,如果切在“。然后”,会把逻辑切断,导致移动检测误报。我采取的办法:对引号内的句末标点做保护,不把它作为分句边界。同样规则还要照顾“etc.”“No.5”“U.S.A”这类带句点的英文缩写。所以,我的做法是优先识别专有名词和英文缩写表,再执行分句。否则“No.5”会被切成一个无意义的孤立片段。
短语块提取也是同样的思路。中文不像英文有天然空格,词边界完全依赖分词工具的词典质量。更重要的是,一个句子里变化的部分往往不是一个最小词,而是一个短语块。例如“书面同意”变更为“预先同意”,分词后产生一个词替换,但“书面/同意”与“预先/同意”的核心是定语部分变了;如果只做到词级,系统会给出两个变更碎片:替换“书面”为“预先”、保留“同意”。后来我把句子切成“可替换的语义块”(基于依存句法或基于短语表),将“书面同意”看作一个完整的“方式限定+核心动作”组合块。然后再做块级对比,输出就是一条变更了。
4.3 向量化与相似度计算的工程落地方案
语义相似度的计算方法经历了几个阶段。第一个阶段使用最简单编辑距离,准确率极低,因为同一语义的不同表达几乎直接归零。第二个阶段使用BM25和TF-IDF,稍微好一点,但对同近义词泛化能力仍然不足。到现在实际大规模使用是“分词→向量编码→余弦相似度”的路径。
由于项目对成本敏感,并且很多计算发生在私有化部署环境里,所以没有选择调用大型模型接口,而是用两种策略结合:
- 简策略:短文本片段使用词向量平均池化,因为短文本很多时候是专有名词或短语,不需要上下文编码器也能算明白。
- 强策略:句子级以上比较,使用一个跑在GPU服务器上的轻量级模型做语义编码,模型大小在300MB以内,单卡能支撑每秒400句左右的推理,对一个中等规模文档协作产品来说这个吞吐量是够的。成本敏感性方面,只有当上一阶段判定本文“可能发生了partial modification”时,才调用较强模型;对于高达70%的完全未变句子,我们在预处理那一层就已经用SimHash过滤掉了,没有让它们把算力白白吃掉。
一个经验参考:对短句和短语,把向量拼上“词汇重叠率”作为第二特征,比单独用余弦相似度效果明显好。原因是纯语义模型会把完全不同但相关的内容判得过近,例如“甲方”与“乙方”在语义向量空间里距离并不远,但业务含义正好相反;结合起来之后,这种误判会大幅减少。阈值设经验值0.62时会漏掉很接近的文本,设到0.55又会混入许多泛化关系。后期我采用了双向阈值策略:判定“为同一语义”采用宽松阈值0.55;但判定“为同义替换”采用严阈值0.85。这个设计规避了大部分误报,可以理解为:宁可漏掉同义判断,也不要把不是同义的内容硬凑成同义。
4.4 数字、日期、专有名词的特殊处理
文本级语义分析里,最不能靠语义模型的就是数字和日期。短语“在三十日内”被改成“在三十个工作日内”,语义向量几乎完全一样,但真正的变更含义无比重要;“500万元”变“5000万元”,一个零的差异,向量表示根本看不出来。我必须单独为这类内容建立实体提取通道。
工程上我把这种位置称为“关键实体”。在句子比对开始前,会先跑一轮命名实体识别,抽出时间、日期、金额、百分比、法律条款引用号、产品名称、城市名等。这些实体的列表要在做句子切分前就先注册好。之后的计算逻辑分成两路:
- 如果句子里存在关键实体且某几个实体发生了字符串级变化,直接把变更标记为replace,并把semanticTag写成“numeric_change”“date_change”“entity_change”,不需要再做语义相似度的拉锯判断。
- 如果实体没变,那变化可能来自措辞、语气、句法,再进入语义模型。
系统里要保留一张最新版本的“实体规范表”。比如用户曾经把“三十日”改成“三十个自然日”,系统要能识别出这是同义替换(两种表达指向同一个期限),不能再次生成一个replace标签。这个表最初从历史变更记录中批量提取,后期通过人工审核积累,是判断文本级别变化的关键前仓。
5. 我在实际落地中踩过的高频坑,每条都能省你好几天
5.1 格式标签变化被误标为语义修改
这是第一个大坑。文档系统里保存的内容,很多时候不是纯文本,而是富文本HTML。带格式的内容在拿到diff工具里时,HTML段落里会夹着大量b标签、em标签、span标签。前端渲染出的文本是“甲方应在三日内付款”,看上去一样;但底层一个版本是<b>甲方</b>应在三日内付款,另一个是甲方应在三日内付款。如果直接用标签内文本做比较,系统会判断为旧版本里存在一个甲方文本片段在标签内部,而新版本缺失,于是输出一条“甲方被删除”的标记。这会让用户完全懵掉,因为屏幕上显示的内容根本没变过。
修复方法是把标签从比较对象中抽离。我的比较器处理三层内容:纯文本内容流、块级结构树、内联样式集合。文本内容流只包含可读字符,标签信息进入独立的样式流;只有纯文本发生变化时,才进入语义分析。对于样式变化单独生成“格式变更”标记,默认折叠显示,不作为需要审核的“内容修改”。改动之后,点击一处格式变化不再弹出一整片红色删除线,审阅体验正常了许多。
5.2 词序调整被判成“删除+新增”,信息流断裂
长短句与从句较多的文本是重灾区。例如“涉及国家安全的采购项目,依法应当进行审查”变成“依法应当进行审查的采购项目,涉及国家安全的”,这句话的语义基本未变,只是主从句调序了。如果比对算法只做局部diff,它会认为“涉及国家安全的采购项目”这一短语在旧位置的片段空缺,在新位置的片段出现,于是标记成一个delete加一个new。但实际上它是move(同一个短语块发生了位置调整)或rewrite(句式调整)。
纠正方法是在句子相似度计算之前先做一次“移动候选池扫描”:对所有长度为8至50个字符的文本块,如果它们在新旧版本中都能以高于0.92的相似度匹配,并且位置差超过某一阈值,就先从待diff区域中剔除,在后处理阶段专门打move。这个阶段处理最耗性能的其实是候选对的生成:如果粗暴做两两比较,几千字的文档就会产生上亿个组合。我采用倒排索引的思路:抽取每个文本块的前5个高频词建立倒排,只对至少共享一个高频词的块进行相似度计算,这样可以把计算量降三个数量级。但要注意高频词要过滤掉“的、了、在、是、中、与、及”这类真的虚词,否则全文所有块都能和你挂上钩,索引就失效了。
5.3 纯人工校验阶段不可跳过
纯技术团队最容易犯的战略错误,是一上来就收集大量公开数据集拿来训练或评测模型。但文档语义变更的强业务属性决定了通用数据集的用处有限。对合同领域的“三十日”和劳动规章里的“三十日”,语义值完全不同;对于营销文案,要求识别出“大幅降价”改为“降价幅度显著”是同一类营销噱头;而政府公文里同一个改法可能就要标为实质变化。
我的建议是:在项目启动后的前两周不要调任何算法,把时间全部投入到“构建领域样本集”上。具体做法是找目标用户拿30到50篇过去曾做过多轮修改的旧文档,由业务方人工标注出“哪些属于实质变更、哪些属于同义改写、哪些属于无效变化”。这份样本集有三个用处:建立评测基准、校准阈值、形成术语别名库。这些工作不会浪费,因为样本集终生受用,每次改动模型或调参数,都用它做回归测试,心里才有底。我见过很多团队对模型盲目调参很久,最后发现是漏了术语词典导致准确率卡住不前,这就是忽视样本集建设的后果。
5.4 阈值在“边界场景”下怎么取舍
最后一组参数调优经验,并非来自书本,而是大量试错:
- 当一句从16个词被改到15个词,“删除”的词是多余的形容词还是核心限定名词?算法本身并不知晓。我在公司内部做了个解决办法:给词性加了权重。名词、数词、核心动词的变化权重为1.0,形容词、副词变化权重为0.4。当一个句子相似度较高但只含低权重词变化时,就当作“润色”处理,不强制走审阅流;一旦设计到名词/动词和数值实体,就要强制推给审核人员。这在保险条款场景里效果尤佳,因为核心条款往往依赖名词和数值限定词。
- 针对替换操作,如果两个词向量相似度在0.85以上,且词性一致,就展示为“同义替换”;低于0.85但大于0.6的,则视为“改写”。低于0.6则要回到上一级比较,确认该句是否整体改写了。这个分层判断可以在一个循环里完成,避免退回时重复计算,但代码里要对相似度做缓存,同一个词对不要算两次。
- move这个操作,对跨段位的长距离移动要展示清晰,但是段内同一句话前后挪了三个字这种场景,不应该标记成移动。差距过小会带来满屏“物品出现了移动”噪声,人类阅读时完全不关心这种细粒度变化。具体经验是:至少跨越一个分句或移动超过30个字符,才触发move标记。
6. 从“标记结果”到“流程闭环”的一点心得
整个项目做到后半段,我越来越体会到,文本级语义与变更标记这件事,表面上比的是NLP模型和相似度算法,真正拉开差距的是工程化落地能力和对业务的理解。模型再先进,如果你的变更坐标是错的、渲染出来让用户无法高效审阅、没有跟审核流程形成闭环,那也只是技术团队的自嗨。
最后分享两件后续可以继续扩展的事。第一件是识别变更意图,现在我还只停留在“改了什么”,但下一阶段我想尝试给每条变更加一句可读的自然语言解释,比如“这是因为合同终止条件增加了一种情形,导致后续所有对‘合同终止’的引用节点都需要重新核对”,类似一种自动生成的变更说明。这让初级审核者不需要逐字读完原文,就能快速把握一份3万字合同的新旧差异概貌。第二件是流式增量解析,文档在线协作过程中双方的改动能实时产出变更标记流,不只对比历史快照,还可供冲突处理模块决策——这会大大提升协同文档里多人编辑的合并体验。如果你刚好在做相似系统、在考虑粒度问题和格式设计时卡壳,希望上面这套方法和数据结构对你有一个直接可抄的参考。
