从ViT到Swin-T:窗口注意力如何重塑视觉Transformer的工程实践
当Vision Transformer(ViT)在2020年横空出世时,整个计算机视觉领域都为这种纯Transformer架构在图像分类任务上的表现所震撼。然而,当工程师们兴奋地尝试将ViT迁移到目标检测、实例分割等密集预测任务时,很快发现了两个致命瓶颈:一是随着输入分辨率增加,全局自注意力的计算量呈平方级增长;二是单一尺度的特征图难以适配FPN等经典检测头。微软亚洲研究院在2021年提出的Swin Transformer,通过引入层次化特征图和滑动窗口注意力,完美解决了这两个痛点,成为首个在COCO检测和ADE20K分割任务上全面超越CNN的Transformer架构。
1. 为什么ViT难以落地:从理论到实践的三大鸿沟
ViT的核心思想是将图像分割为16x16的patch序列,然后像处理NLP中的token一样进行全局自注意力计算。这种简单粗暴的设计在ImageNet分类任务中表现出色,但在实际工业场景中却面临严峻挑战。
1.1 计算复杂度之殇
标准自注意力的计算复杂度为:
python复制# 输入尺寸h*w,通道数C
MSA_complexity = 4*h*w*C² + 2*(h*w)²*C
当处理512x512的检测任务时,(h*w)²项将导致显存爆炸。相比之下,Swin-T采用的窗口注意力(W-MSA)将计算限制在局部窗口内:
python复制# M为窗口大小(默认7)
WMSA_complexity = 4*h*w*C² + 2*M²*h*w*C
在典型配置下(h=w=112,C=128,M=7),W-MSA可节省约40G FLOPs。
1.2 特征尺度单一化困境
ViT的另一个致命缺陷是其单尺度特征图输出。下表对比了不同架构的特征金字塔:
| 网络类型 | 输出尺度 | 适配检测任务 |
|---|---|---|
| ResNet-50 | [1/4, 1/8, 1/16, 1/32] | 优秀 |
| ViT-Base | 固定1/16 | 较差 |
