1. 卷积神经网络的前世今生:从LeNet到MobileNet的进化图谱
1998年,当Yann LeCun提出LeNet-5时,可能没想到这个只有7层的"小网络"会成为深度学习革命的起点。如今,卷积神经网络(CNN)已经发展出数十种变体,在ImageNet竞赛的推动下,模型深度从几层发展到上百层,计算量却从几十MB压缩到几MB。这场进化史中,每个里程碑式的模型都带着独特的创新基因:
- LeNet-5(1998):开创了"卷积+池化"的基础架构,首次证明局部连接和权值共享的有效性
- AlexNet(2012):引入ReLU激活函数和Dropout机制,开启深度学习复兴时代
- VGG(2014):用堆叠的3×3小卷积核替代大卷积核,建立深度与性能的正相关
- GoogLeNet(2014):设计Inception模块实现多尺度特征融合,参数利用率提升4倍
- ResNet(2015):残差连接解决梯度消失,让千层网络训练成为可能
- MobileNet(2017):深度可分离卷积将计算量压缩到传统CNN的1/9
有趣的是,这些创新并非简单的技术堆砌。LeNet的局部感知思想在MobileNet的深度卷积中重生,AlexNet的ReLU在ResNet中演变为Pre-Activation,GoogLeNet的多尺度融合在Inception V3中进化为非对称卷积分解。这种螺旋上升的演进,正是深度学习最迷人的地方。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. LeNet-5:卷积神经网络的"hello world"
在MNIST数据集上,LeNet-5能达到99.2%的准确率——这个20多年前的成绩甚至优于某些现代简单模型。让我们解剖这只"麻雀":
输入层的32×32设计就暗藏玄机。原始图像是28×28,周边填充的2像素边缘为卷积核提供了滑动空间。这种padding思想在后来的AlexNet、VGG中成为标配。
C1卷积层的6个5×5卷积核,首次实现了特征提取的自动化。相比手工设计的SIFT、HOG等特征,这种数据驱动的特征学习范式成为后续所有深度学习模型的基石。当时的卷积计算还没有GPU加速,LeCun团队甚至专门设计了名为"ANNA"的ASIC芯片来加速运算。
S2池化层采用2×2区域求和+ Sigmo
