1. 为什么选择Transformer做文本分类？
2017年那篇著名的《Attention is All You Need》论文彻底改变了NLP领域的游戏规则。我在实际项目中对比过传统RNN、LSTM和Transformer的效果，当处理超过500字的文本时，Transformer的注意力机制能捕捉到更远距离的语义关联。举个真实案例：在电商评论分类任务中，像"虽然手机续航不错，但摄像头比宣传的差远了"这样的句子，传统模型经常错误归类，而Transformer能准确识别出"但"字后面的情感转折才是关键。
Transformer的核心优势在于：
- 并行计算效率比RNN高3-5倍（实测GTX 1080Ti上的对比）
- 多头注意力机制自动学习不同位置的语义权重
- 位置编码解决了词序信息丢失问题
注意：虽然BERT也是基于Transformer，但本文使用原生Transformer架构更适合教学演示，避免预训练模型带来的复杂度。
2. 环境准备与数据预处理
2.1 基础环境配置
推荐使用Python 3.8+和PyTorch 1.12+的组合，这是我测试过最稳定的版本：
bash复制conda create -n transformer python=3.8
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
pip install tensorboard transformers datasets
2.2 数据集选择与处理
我用的是IMDB影评数据集（5万条带标签评论），处理流程包括：
- 特殊字符过滤（保留基本的标点）
- 词干提取（使用NLTK的PorterStemmer）
- 构建词汇表时限制在30000词（超出部分标记为[UNK]）
python复制from torchtext.data import get_tokenizer
tokenizer = get_tokenizer('basic_english')
vocab = build_vocab_from_iterator(map(tokenizer, train_texts), max_tokens=30000, specials=['<unk>', '<pad>'])
踩坑提醒：一定要先划分训练/验证集再做vocab构建，否则会存在数据泄露！
3. Transformer模型实现详解
3.1 模型架构关键点
我的实现包含以下核心组件：
python复制class TransformerClassifier(nn.Module):
def __init__(self, vocab_size, d_model=512, nhead=8, num_layers=6):
super().__init__()
self.embedding = nn.Embedding(vocab_size, d_model)
self.pos_encoder = PositionalEncoding(d_model)
encoder_layer = nn.TransformerEncoderLayer(d_model, nhead)
self.transformer = nn.TransformerEncoder(encoder_layer, num_layers)
self.fc = nn.Linear(d_model, 2) # 二分类
def forward(self, x):
x = self.embedding(x) * math.sqrt(d_model)
x = self.pos_encoder(x)
x = self.transformer(x)
x = x.mean(dim=1) # 全局平均池化
return self.fc(x)
关键参数说明：
d_model=512：向量维度（太小影响效果，太大增加计算量）nhead=8：注意力头数（必须是d_model的约数）num_layers=6：编码器层数（层数越多拟合能力越强，但也更容易过拟合）
3.2 训练技巧与超参设置
经过多次实验验证的最佳配置：
python复制optimizer = AdamW(model.parameters(), lr=5e-5, weight_decay=1e-4)
scheduler = CosineAnnealingLR(optimizer, T_max=10)
criterion = nn.CrossEntropyLoss(label_smoothing=0.1) # 标签平滑防过拟合
训练时发现三个关键现象：
- 学习率大于1e-4时模型很难收敛
- 添加梯度裁剪（max_norm=1.0）后稳定性提升
- 在验证集准确率停滞时，短暂提高学习率能跳出局部最优
4. Tensorboard可视化实战
4.1 基础监控配置
在训练循环中添加：
python复制from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter('runs/imdb_experiment')
for epoch in range(epochs):
# ...训练代码...
writer.add_scalar('Loss/train', train_loss, epoch)
writer.add_scalar('Accuracy/val', val_acc, epoch)
4.2 高级可视化技巧
- 注意力权重可视化：
python复制# 在模型forward中返回注意力权重
attn_weights = self.transformer.get_attention_maps()
writer.add_image('Attention/head0', attn_weights[0][0], epoch) # 第一个头的注意力图
- 嵌入投影可视化：
python复制writer.add_embedding(
embeddings,
metadata=labels,
label_img=word_vectors.unsqueeze(1)
)
- 模型图可视化（需要安装torchviz）：
python复制from torchviz import make_dot
make_dot(output, params=dict(model.named_parameters())).render("transformer", format="png")
4.3 实际效果分析
启动Tensorboard后重点关注：
- 损失曲线是否平滑下降（突变可能预示梯度爆炸）
- 验证准确率与训练准确率的差距（大于5%说明过拟合）
- 注意力热图中对角线是否明显（好的模型应该能捕捉非局部依赖）
5. 生产级优化建议
5.1 性能优化方案
- 使用混合精度训练（提速30%）：
python复制scaler = torch.cuda.amp.GradScaler()
with torch.cmp.amp.autocast():
outputs = model(inputs)
loss = criterion(outputs, labels)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()
- 内存优化技巧：
- 设置
batch_first=True减少转置开销 - 使用
nn.utils.clip_grad_norm_控制显存占用 - 梯度累积解决显存不足问题
5.2 常见问题排查
遇到准确率低的排查步骤：
- 检查输入数据是否正常（打印原始文本和对应ID）
- 验证Embedding层输出（应包含位置信息）
- 监控注意力权重分布（正常应呈现稀疏性）
- 测试单个batch的过拟合能力（能过拟合说明模型容量足够）
我在部署时遇到的一个典型问题：当输入文本长度差异较大时，简单的padding会降低效果。解决方案是采用动态batch策略，将长度相近的样本放在同个batch。