从零实现BP神经网络进行手写数字识别

1. 项目背景与核心目标

手写数字识别是计算机视觉领域的经典入门项目，相当于图像识别领域的"Hello World"。MNIST数据集作为该领域的基准测试集，包含60,000张训练图像和10,000张测试图像，每张都是28×28像素的灰度手写数字(0-9)。传统BP神经网络通过模拟人脑神经元连接方式，能够有效学习数字图像的特征表示。

本项目将实现一个三层BP神经网络（输入层-隐藏层-输出层），不使用任何深度学习框架，仅借助NumPy等基础科学计算库，从零构建完整的神经网络架构。这种"手搓"方式能让我们深入理解：

• 前向传播中信号如何逐层变换
• 反向传播时误差如何梯度回传
• 权重矩阵如何通过迭代优化

关键认知：BP神经网络的核心在于通过链式法则计算损失函数对每层权重的梯度，然后用梯度下降法更新参数。这种机制使得网络能够自动学习输入数据的特征表示。

2. 网络架构设计

2.1 层结构与神经元配置

我们的网络采用784-256-10结构：

• 输入层：784个神经元（对应28×28图像展平后的像素）
• 隐藏层：256个神经元（使用Sigmoid激活函数）
• 输出层：10个神经元（对应0-9数字，使用Softmax激活）

python复制import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size) * 0.01
        self.b1 = np.zeros((1, hidden_size))
        self.W2 = np.random.randn(hidden_size, output_size) * 0.01
        self.b2 = np.zeros((1, output_size))

2.2 激活函数选型

经验之谈：在浅层网络中，Sigmoid的梯度消失问题不明显，且比ReLU更容易实现。输出层用Softmax能直接将输出转化为概率。

3. 前向传播实现

3.1 数据预处理流程

1. 图像归一化：将像素值从[0,255]线性缩放至[0.01,0.99]
2. One-hot编码：将标签转换为10维向量（如"3"→[0,0,0,1,0,0,0,0,0,0]）

python复制def preprocess_data(X):
    # 归一化并添加微小偏移避免零值
    X = X / 255 * 0.98 + 0.01
    return X.reshape(-1, 28*28)

def one_hot(y, num_classes=10):
    return np.eye(num_classes)[y]

3.2 逐层计算过程

python复制def forward(self, X):
    self.z1 = np.dot(X, self.W1) + self.b1
    self.a1 = self.sigmoid(self.z1)
    self.z2 = np.dot(self.a1, self.W2) + self.b2
    self.a2 = self.softmax(self.z2)
    return self.a2

4. 反向传播与参数更新

4.1 损失函数计算

使用交叉熵损失：

math复制L = -\frac{1}{N}\sum_{i=1}^N \sum_{j=1}^{10} y_{ij}\log(\hat{y}_{ij})

4.2 梯度推导（链式法则）

1. 输出层梯度：

   math复制\frac{\partial L}{\partial z2} = \hat{y} - y
   

2. 隐藏层梯度：

   math复制\frac{\partial L}{\partial W2} = a1^T \cdot \frac{\partial L}{\partial z2}
   

3. 输入层梯度：

   math复制\frac{\partial L}{\partial z1} = (\frac{\partial L}{\partial z2} \cdot W2^T) \odot \sigma'(z1)
   

实现代码：

python复制def backward(self, X, y, lr=0.05):
    m = X.shape[0]
    dz2 = self.a2 - y
    dw2 = np.dot(self.a1.T, dz2) / m
    db2 = np.sum(dz2, axis=0) / m
    
    dz1 = np.dot(dz2, self.W2.T) * self.sigmoid_deriv(self.a1)
    dw1 = np.dot(X.T, dz1) / m
    db1 = np.sum(dz1, axis=0) / m
    
    # 参数更新
    self.W2 -= lr * dw2
    self.b2 -= lr * db2
    self.W1 -= lr * dw1
    self.b1 -= lr * db1

5. 训练优化技巧

5.1 超参数调优策略

5.2 权重初始化对比

• Xavier初始化：W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in)
• He初始化：W = np.random.randn(fan_in, fan_out) * np.sqrt(2/fan_in)

实验发现，对于Sigmoid激活，Xavier初始化能使各层输出保持相近的方差。

6. 性能评估与结果分析

6.1 训练过程监控

python复制def train(self, X_train, y_train, epochs=20):
    for epoch in range(epochs):
        # 小批量训练
        for i in range(0, len(X_train), batch_size):
            X_batch = X_train[i:i+batch_size]
            y_batch = y_train[i:i+batch_size]
            
            self.forward(X_batch)
            self.backward(X_batch, y_batch)
        
        # 每轮评估
        preds = self.predict(X_train)
        acc = np.mean(preds == np.argmax(y_train, axis=1))
        print(f"Epoch {epoch+1}, Accuracy: {acc:.4f}")

6.2 典型实验结果

常见错误模式分析：

• 混淆数字：4/9、5/3、7/1
• 原因：这些数字对在书写形态上相似度高

7. 扩展与优化方向

7.1 改进方案对比

7.2 实际部署建议

• 图像预处理：添加高斯滤波去除噪声
• 预测增强：对同一数字多次预测取众数
• 模型量化：将float64权重转为float32减少体积

这个实现虽然简单，但包含了神经网络最核心的机制。通过调整网络结构和超参数，完全可以在保持代码简洁性的同时达到97%以上的测试准确率。建议在理解本实现后，可以尝试添加卷积层等更高级结构来进一步提升性能。