【自然语言处理 | NLP】从“词”到“向量”：深入解析token、embedding与encoding的协同工作流

1. 从文本到数字：NLP处理流水线全景

第一次接触NLP项目时，我盯着屏幕上的文本数据发愁：这些人类能轻松理解的文字，计算机要怎么处理？后来才发现，整个处理流程就像把生鲜食材加工成标准化的料理包，需要经过tokenization（分词）、embedding（向量化）、encoding（编码）三个关键工序。举个例子，当我们要构建情感分析模型时，"这家餐厅的菜品很棒"这句话，会先被拆解成["这家","餐厅","的","菜品","很棒"]的token序列，接着每个token被转换为300维的向量，最后整个句子被压缩成单个512维的向量表示——这就是现代NLP模型的"消化系统"工作流程。

传统文本处理方法（如TF-IDF）就像用菜刀切块，而现代NLP的流水线更像是分子料理设备。tokenization相当于食材预处理，embedding如同将食材分解成分子状态，encoding则是将分子重组为新的化合物。这种处理方式让模型能捕捉"美味"和"难吃"之间的对立关系，也能理解"出色"和"很棒"的近义关联。我在电商评论分类项目中发现，合理调整这三个阶段的参数，能使模型准确率提升15%以上。

2. Tokenization：文本的原子化处理

2.1 分词算法的演进史

早期的空格分词就像用剪刀裁纸，遇到中文这种无空格语言就束手无策。我至今记得第一次用jieba分词时，把"结婚的和尚未结婚的"错误切分成["结婚","的","和","尚未","结婚","的"]的笑话。现代分词器已经进化到能识别"南京市长江大桥"这类复杂case，核心在于词典匹配与统计语言模型的结合。BERT等模型采用的WordPiece算法更聪明，它会把"unhappy"拆解为["un","##happy"]，既控制词表大小又保留语义。

实际项目中，选择分词策略要考虑语言特性。英语适合用空格+标点分词，中文需要专用分词器，而日语则要应对黏着语的特性。我在处理跨境电商评论时，混合使用spaCy和自定义词典，将"iPhone13ProMax"这样的产品名作为整体保留，显著提升了后续步骤的效果。这里有个实用技巧：用tokens = tokenizer.tokenize("样例文本")快速测试不同分词器的效果。

2.2 特殊token的魔法

第一次看到BERT输入中的[CLS]和[