做RAG最头疼的,往往不是模型选型,也不是向量库调参,而是最底层的文档切分。文档切分做不好,召回率和准确率会一起崩。这次单独把PDF、Word、TXT三种格式拎出来,聊聊各自的最优切分方案。这三种格式在办公场景里出现频率最高,结构差异却极大:PDF排版固定但提取麻烦,Word自带段落样式但很容易被忽略,TXT没有格式却最容易被“硬切”。我会先说清每个格式的提取方式,再给出一套可落地的切分骨架,最后附实测参数和避坑清单。不管你现在用LangChain、LlamaIndex还是自研切分器,这套思路都能直接搬。
1. 为什么格式决定切分策略
1.1 RAG切分的本质:别把“语义积木”砸碎
想理解不同格式为什么要用不同切分策略,得先回到RAG的检索单位——“块”。块是向量化的最小语义单元,也是最容易被忽略的变量。
块太小,语义不完整,“该花的钱不该花”被切成“该花”和“钱不该花”,检索召回一堆碎片;块太大,一段话里塞了三四个主题,向量平均化之后谁都代表不了,召回精度直线下降。所以切分的核心不是“按字符数切”,而是“把语义完整的段落保留下来”。
那格式和语义完整性有什么关系?关系太大了。PDF往往以“页”为单位呈现内容,表格、页眉页脚、多栏混排会让文本顺序错乱;Word天然带有标题样式和段落边界,这是现成的语义骨架;TXT则什么都没有,只能靠空行、缩进、编号等痕迹去推断边界。格式不同,能获得的语义线索完全不同,照搬同一套切分器就是在糟蹋文档。
1.2 PDF、Word、TXT的“性格差异”
用一个生活类比来解释:
- PDF像一张打印好的报纸,版式已经固定,你能看到什么内容取决于排版师,但你无法轻易改动它。想要按语义切分,先得从版面中把文本按视觉块“抠”出来。
- Word像一份带目录和标题的电子文稿,段落、章节、表格都有标签。切分时可以直接借力这些结构标签,而不是用正则去猜。
- TXT像一叠白纸打印稿,没有任何标记,只能靠空行和缩进判断段落边界,切分方案要更保守、更依赖启发式规则。
所以我的基本判断是:PDF的难点在“提取”,Word的难点在“结构利用”,TXT的难点在“边界推断”。按这个判断去设计切分流程,比对着字符数调参会靠谱得多。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 三种格式的“文本提取”实操
2.1 PDF:先解决“能不能拿到干净文本”
PDF是所有格式里最容易被高估的。很多人以为pdfplumber或者PyMuPDF直接读文本就行,真正跑起来才发现乱序、丢行、表格错位一大把。
我的做法分两步。第一步用 get_text("blocks") 拿到带坐标的视觉块,第二步按坐标排序并过滤页眉页脚。直接看代码:
python复制import fitz # PyMuPDF
doc = fitz.open("sample.pdf")
page_blocks = []
for page in doc:
blocks = page.get_text("blocks")
page_height = page.rect.height
for block in blocks:
x0, y0, x1, y1, text, block_no, block_type = block
if block_type != 0: # 0 是文本块,图片块和其他块先跳过
continue
# 过滤页眉页脚:靠近页面顶部或底部、字符重复率高的块
if y0 < 40 or y1 > page_height - 40:
continue
page_blocks.append({
"page": page.number + 1,
"bbox": (x0, y0, x1, y1),
"text": text.strip(),
})
这里有两个关键点:
一是 blocks 返回的已经是视觉块,比 get_text("text") 逐行输出更接近真实阅读顺序。二是页眉页脚过滤最好基于坐标和文本重复性一起判断,只靠坐标会把正文顶部误杀。如果文档页眉很长,阈值要根据实际版心调整。实测下来,大多数标准PDF的页眉页脚高度在35到60像素之间,取40到50比较稳妥。
拿到这些块之后,还不能直接拼文本。很多PDF的双栏排版、表格竖排,会导致块的顺序错乱。你需要按 (y0, x0) 排序,优先按垂直坐标,同一行内再按水平坐标,这样至少能还原“从上到下、从左到右”的阅读顺序。
2.2 Word:把段落和表格分开读
Word相对友好,因为python-docx能拿到段落样式。很多人写RAG切分时,把Word转成纯文本再处理,白白丢掉了最关键的标题层级信息。
我的建议是,用python-docx读取文档时,把段落、样式、层级一起保留下来:
python复制from docx import Document
from docx.table import Table
from docx.text.paragraph import Paragraph
doc = Document("sample.docx")
def iter_block_items(parent):
# 按文档内容顺序同时遍历段落和表格
from docx.oxml.ns import qn
parent_elm = parent.element
