1. 为什么我们需要残差连接?
想象一下你在教一个小朋友做数学题。最开始教1+1=2很简单,但随着题目难度增加,比如要计算(1+1)*3-5/2,小朋友可能会因为步骤太多而忘记中间结果。深度神经网络也面临类似问题——当网络层数越来越多时,信息在传递过程中就像经过太多人的传话游戏,最终可能面目全非。
2015年之前,研究人员发现一个奇怪现象:56层的神经网络识别准确率居然比20层的还要低。这完全违背了"越深越好"的直觉,问题就出在梯度消失上。反向传播时,梯度要经过几十层网络,就像用微弱的信号穿越长长的隧道,到达起点时几乎衰减为零。残差连接的发明者何恺明用了个巧妙的办法:在每层旁边修条"捷径",让信号可以跳过某些层直达后方。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 残差连接的工作原理
2.1 从数学公式理解核心思想
传统神经网络层可以表示为y=F(x),而残差块的设计是y=F(x)+x。这个简单的加法操作带来了革命性变化:
python复制# 普通卷积块
def forward(x):
return conv2d(relu(conv2d(x)))
# 残差块
def forward(x):
return conv2d(relu(conv2d(x))) + x # 关键就在这个加法
用装修房子来类比:传统网络要求工人直接装修出理想中的房子,而残差网络只要求工人给出"装修方案"(F(x)),实际效果是原始房子(x)加上装修变化量。当某些层不需要修改时,F(x)可以轻松学习为0,保留原始信息。
2.2 梯度传播的高速公路
反向传播时,导数计算遵循链式法则。对于残差连接,梯度有两条回流路径:
- 常规路径:∂L/∂x = ∂L/∂y * ∂y/∂F(x) * ∂F(x)/∂x
- 捷径路径:∂L/∂x += ∂L/∂y * 1
即使常规路径的梯度变得极小,捷径路径也能保证至少∂L/∂y的梯度能直接传回。这就像在陡坡上修建之字形公路的同时,保留了一条直通的紧急通道。
3. 现代模型中的演进应用
3.1 CNN中的经典实现
ResNet34的残差块结构值得仔细研究:
python复制class ResidualBlock(nn.Module):
def __init__(self, in_
