1. 从卷积到Transformer:目标检测的范式迁移
目标检测作为计算机视觉的核心任务,经历了从传统手工特征到深度学习的演进。早期的Faster R-CNN、YOLO等经典算法都建立在卷积神经网络(CNN)基础上,这种架构天然具备局部感受野和平移等变性,通过堆叠卷积层自然形成多尺度特征金字塔。但2020年Vision Transformer(ViT)的横空出世,彻底改变了这一格局。
ViT将图像切割为16x16的patch序列,通过自注意力机制实现全局建模。这种"所见即所得"的设计在图像分类任务中展现出惊人潜力,但在目标检测领域却遭遇两大挑战:首先,plain ViT缺乏CNN固有的层次化结构,难以直接生成多尺度特征;其次,高分辨率输入下的全局注意力计算复杂度呈平方级增长,内存消耗成为瓶颈。
传统解决方案是设计Swin Transformer等分层架构,通过局部窗口注意力降低计算量,同时模仿CNN的多尺度特性。但ViTDet却选择了一条反直觉的道路——坚持使用原始ViT结构,仅通过极简适配就实现了SOTA性能。这就像用一把瑞士军刀完成了专业手术,背后是对模型本质的深刻洞察。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. ViTDet的核心设计哲学
2.1 解耦思维:预训练与微调的辩证法
ViTDet最革命性的理念在于彻底分离预训练和微调阶段的目标。传统方法为了让模型适应检测任务,往往需要从头设计分层主干网络(如Swin),导致预训练架构与下游任务强耦合。而ViTDet坚持使用标准ViT进行MAE自监督预训练,仅在微调阶段做最小改动,这种解耦设计带来三大优势:
- 预训练自由度:可以使用任意ViT变体(如DeiT、BEiT),不受限于特定架构
- 迁移便捷性:同一预训练模型可同时支持分类、检测、分割等不同任务
- 资源节约:避免为每个新任务重新设计和预训练专用骨干网络
实测表明,MAE预训练的ViT-L在COCO检测任务上达到61.3% mAP,比监督预训练的同参数规模Swin Transformer高出2.6个百分点。这验证了"简单架构+强大预训练"路线的可行性。
2.2 简单特征金字塔:四两拨千斤的尺度处理
面对多尺度检测的挑战,ViTDet抛弃了传统FPN复杂的横向连接和自上而下融合,提出
