从零实现神经网络：NumPy与PyTorch对比实践

1. 神经网络实现基础：从理论到实践

作为一名长期从事机器学习开发的工程师，我经常被问到："如何真正理解神经网络的原理？"我的回答始终如一：亲手实现一个神经网络。这次我将带大家用两种方式实现MNIST手写数字识别——纯NumPy手动实现和使用PyTorch框架实现。这两种方法各有价值：前者能让你深入理解神经网络的核心机制，后者则展示了现代深度学习框架的强大生产力。

MNIST数据集是机器学习领域的"Hello World"，包含60000张28×28像素的手写数字训练图片和10000张测试图片。选择这个经典案例，是因为它足够简单让我们专注于算法本身，又足够复杂到能体现神经网络的威力。我们将构建一个两层的全连接网络（784-128-10），使用ReLU激活函数和交叉熵损失函数。

2. 数据准备与预处理

2.1 数据加载与格式转换

数据预处理是机器学习项目中最容易被忽视却至关重要的环节。对于MNIST数据集，我们首先需要将其从原始的28×28二维图像转换为适合全连接网络处理的784维向量。这个展平(flatten)操作可以通过简单的reshape实现：

python复制(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(-1, 784).astype('float32') / 255.0
x_test = x_test.reshape(-1, 784).astype('float32') / 255.0

这里有几个关键细节需要注意：

1. reshape(-1, 784)中的-1表示自动计算样本数量
2. 显式指定float32类型以避免后续计算中的类型问题
3. 除以255.0进行归一化，将像素值缩放到[0,1]区间

提示：虽然现代框架能自动处理很多预处理步骤，但理解这些底层操作对于调试和优化模型至关重要。

2.2 标签编码处理

标签处理有两种主流方式：

1. 类索引（适用于PyTorch的CrossEntropyLoss）
2. 独热编码（适用于手动实现）

对于NumPy实现，我们需要将标签转换为独热编码：

python复制def one_hot(labels, num_classes=10):
    return np.eye(num_classes)[labels]

而在PyTorch实现中，我们可以直接使用类索引，因为PyTorch的CrossEntropyLoss内部已经集成了Softmax和交叉熵计算。

2.3 数据分批与随机化

训练神经网络通常采用小批量梯度下降。在NumPy实现中，我们需要手动实现数据分批和随机打乱：

python复制perm = np.random.permutation(num_train)
x_shuffled = x_train[perm]
y_shuffled = y_train[perm]

for i in range(0, num_train, batch_size):
    X_batch = x_shuffled[i:i+batch_size]
    y_batch = y_shuffled[i:i+batch_size]
    # 训练代码...

而在PyTorch中，DataLoader为我们封装了这些功能：

python复制train_dataset = TensorDataset(x_train, y_train)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

3. NumPy手动实现神经网络

3.1 网络结构与参数初始化

我们构建一个两层的全连接网络：输入层(784) → 隐藏层(128, ReLU) → 输出层(10, Softmax)。参数初始化对模型训练至关重要，不当的初始化可能导致梯度消失或爆炸。

python复制input_size = 784
hidden_size = 128
output_size = 10

np.random.seed(42)  # 固定随机种子保证可复现性
w1 = np.random.randn(input_size, hidden_size) * 0.01