1. 从CNN到FCN:语义分割的技术跃迁
第一次接触语义分割任务时,我对着传统CNN的输出结果陷入了沉思——为什么这个能准确识别猫咪的模型,却无法告诉我猫咪的轮廓在哪里?这就像请了一位美食家品尝菜肴,他能说出食材却画不出菜谱。2015年Jonathan Long团队提出的FCN(全卷积神经网络)彻底改变了这个局面,让计算机真正学会了"描边"这项技能。
传统CNN在图像分类任务中表现出色,但它的设计存在两个致命缺陷:一是最后的全连接层要求固定尺寸输入,就像强迫所有照片必须裁剪成相同大小;二是池化层不断压缩特征图尺寸,导致空间信息严重丢失。FCN用三个巧妙设计解决了这些问题:首先用卷积层替代全连接层,使网络可以处理任意尺寸输入;其次引入转置卷积进行上采样,逐步恢复特征图分辨率;最后通过跳级结构融合深浅层特征,就像画家先勾勒轮廓再补充细节。
实际测试VGG16作为backbone的FCN-32s时,我发现分割边缘像打了马赛克。这是因为32倍下采样的特征图太小,就像用8x8像素的贴图还原4K照片。这时跳级结构的作用就凸显出来了——当我把pool4层的特征融合进来(FCN-16s),分割结果立即精细了许多,特别是对小型物体的识别明显改善。这验证了浅层特征保留的空间信息对分割精度至关重要。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. FCN的三大核心技术解析
2.1 全卷积化的设计哲学
在VGG16的改造过程中,我把最后三个全连接层全部替换为卷积层:fc6改为卷积核7x7的卷积层,fc7改为1x1卷积,fc8改为1x1卷积且输出通道数等于类别数。这个改动带来两个惊喜:一是输入图像不再受224x224限制,测试时甚至可以输入800x600的图片;二是输出变成了热力图而非单一标签,每个像素都有了发言权。
这里有个容易踩的坑:1x1卷积看似简单,实则承担着通道维度和语义维度的转换重任。在Pascal VOC数据集上,当我将fc8的21维输出(20类物体+背景)直接作为分割结果时,发现某些类别总是混淆。后来在1x1卷积后加入批归一化层,准确率提升了3.2%。这说明全卷积化不是简单替换,需要重新设计各层配合。
2.2 转置卷积的魔法
第一次实现上采样模块时,我天真地用了双线性插值,结果分割边缘总是模糊。转置卷积才是正解——它让网络自己学习如何"放大"特征图。具体实现时,stri
