果子西施1. 归一化技术的演进：从LN到AdaLN-Zero
我第一次接触归一化技术是在训练一个简单的图像分类模型时，发现模型收敛速度特别慢。当时尝试了批量归一化(BN)，效果立竿见影。但随着深入使用Transformer架构，才发现层归一化(LN)才是这类模型的"灵魂伴侣"。
LN和BN的本质区别在于计算统计量的维度。想象你在整理一个图书馆：BN像是把所有书架同一层的书拿出来统计（特征维度），而LN则是把每个书架的所有书单独统计（样本维度）。这种差异直接决定了它们的适用场景：
- BN在CNN中表现出色，因为它利用了batch内样本间的统计关系
- LN则更适合Transformer这类常处理变长序列的架构，特别是当batch size较小时
但真正让我眼前一亮的还是AdaLN（自适应层归一化）。传统LN的γ和β参数是固定学习的，而AdaLN则通过一个小型网络动态生成这些参数。这就像给每个样本都定制了一套专属的归一化方案。我在实验中发现，这种自适应机制特别适合处理多模态数据，比如同时处理不同分辨率的图像。
DiT采用的AdaLN-Zero更是将这种思想推向了新高度。它不仅动态生成γ和β，还额外引入了维度尺度参数，而且初始时将MLP输出设为零向量。这种设计有个精妙之处：模型初始阶段相当于执行标准的LN，随着训练深入才逐步引入自适应能力。实测下来，这种渐进式策略确实比直接使用AdaLN更稳定。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Diffusion Transformer的核心架构设计
第一次看到DiT的架构图时，我立刻被它的简洁性吸引。它巧妙地将Transformer与扩散模型结合，避开了传统U-Net架构的复杂性。但真正动手实现时，才发现其中藏着不少精妙的设计选择。
数据预处理阶段就很有讲究。DiT不是直接处理原始图像，而是先通过VAE将其压缩到潜在空间。这步操作大幅降低了计算量——原本256x256的RGB图像被压缩到32x32x4的潜在表示。我做过对比实验，跳过这步直接处理原图，训练时间直接翻了4倍。
但最关键的还是DiT Block的设计。它保留了Transformer的标准组件（多头注意力和FFN），但用AdaLN-Zero替代了传统的LN。我在复现时尝试过几种变体：
- 标准LN+条件拼接：计算量最小但效果一般
- AdaLN：效果提升但