1. 初识Tokenizer:文本处理的魔法钥匙
第一次接触NLP模型时,我盯着那些神秘的数字矩阵发愣——原始文本到底是怎么变成模型能理解的数字的?答案就在Tokenizer这个神奇工具里。简单来说,Tokenizer就像翻译官,把人类语言(文本)和机器语言(ID数字)互相转换。以BERT为例,当你输入"Hello world!",Tokenizer会先拆分成["hello", "world", "!"],再转换为[7592, 2088, 999]。
为什么需要三种不同的编码方法?这就像做菜有不同的工具选择:
- encode是基础菜刀,快速完成切配
- encode_plus是多功能料理机,额外提供配料信息
- batch_encode_plus是工业级生产线,批量处理食材
python复制from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
# 基础用法对比
text = "深度学习真有趣"
print(tokenizer.encode(text)) # 输出:[101, 3904, 5401, 1438, 1372, 1462, 102]
print(tokenizer.encode_plus(text)) # 输出包含input_ids等字典
注意:所有Tokenizer方法默认会自动添加[CLS]和[SEP]等特殊token,这是BERT等模型的输入要求。如果处理非Transformer模型,可能需要设置add_special_tokens=False
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 掌握encode:文本编码的基石
encode是三个方法中最基础但最重要的,我刚开始用时经常混淆它和tokenize的区别。实际上,tokenize只做分词,而encode是tokenize+convert_tokens_to_ids的二合一操作。来看个实际案例:
python复制text = "天气预报说今天有暴雨"
tokens = tokenizer.tokenize(text) # ['天', '气', '预', '报', '说', '今', '天', '有', '暴'
