1. 理解Tokenizer的核心输出字段
第一次接触Transformer模型时,我被Tokenizer输出的那些数字搞得一头雾水。直到在实际项目中踩过几次坑,才真正明白input_ids、attention_mask和token_type_ids这三个字段的重要性。它们就像是Transformer模型的"营养标签",告诉模型该如何消化你喂给它的文本数据。
想象一下Tokenizer就像个专业的厨房备餐师。当你把原始文本(比如"我爱NLP")交给它时,它会完成三个关键步骤:首先把句子切成小块(tokenize),然后给每块食材贴上编号(转换为ID),最后加入必要的调料(特殊token)。而这三个输出字段,就是它打包好的"餐盒"上的标签。
在实际项目中,我发现很多开发者(包括当年的我)最容易犯的错误就是直接把这些编码塞给模型,却不理解每个字段的含义。这就像把未处理的食材直接扔进锅里,结果可想而知。下面我们就用真实的代码示例,拆解这三个字段的奥秘。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. input_ids:文本的数字身份证
2.1 基础原理与实战
input_ids是Tokenizer输出中最核心的字段,它记录了每个token在词汇表中的索引号。让我们用BERT模型做个实验:
python复制from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
text = "深度学习改变世界"
encoding = tokenizer(text)
print("Tokenized:", tokenizer.tokenize(text))
print("Input IDs:", encoding["input_ids"])
print("Decoded:", tokenizer.decode(encoding["input_ids"]))
输出结果可能会让你惊讶:
code复制Tokenized: ['深', '度', '学', '习', '改', '变', '世', '界']
Input IDs: [101, 2772, 1296, 1700, 1599, 3341, 1164, 1238, 102]
Decoded:
