吴恩达深度学习课程：逻辑回归与神经网络基础实践

1. 课程概述与学习目标

吴恩达教授的深度学习课程第一门课《神经网络和深度学习》是入门AI领域的经典教材，其中第二周"神经网络基础"更是构建后续知识体系的重要基石。这部分内容主要围绕神经网络的基本数学原理展开，重点讲解了逻辑回归模型及其在二分类问题中的应用。

作为课程助教，我观察到许多初学者在完成第二周课后习题和代码实践时，容易陷入"跟着敲代码却不明原理"的困境。实际上，这个阶段的编程作业（如用Python实现逻辑回归）蕴含着深度学习最基础也最重要的思想：

• 前向传播计算预测值
• 损失函数评估预测质量
• 反向传播计算梯度
• 梯度下降更新参数

这些核心概念会像DNA一样贯穿整个深度学习学习历程。我在指导学生的过程中发现，真正吃透这周的作业内容，后续学习卷积神经网络、循环神经网络时会轻松很多。

2. 核心理论要点解析

2.1 逻辑回归模型详解

逻辑回归虽然是"回归"之名，实则是解决二分类问题的利器。其核心公式为：

ŷ = σ(wᵀx + b)

其中σ代表sigmoid函数：σ(z) = 1/(1+e⁻ᶻ)。这个函数的妙处在于能将任意实数映射到(0,1)区间，完美适配概率解释。

在作业实现中，初学者常犯的错误是：

1. 忘记对输入特征进行标准化处理（导致梯度下降收敛慢）
2. 混淆权重w和偏置b的更新顺序
3. 没有正确理解维度广播机制导致矩阵运算出错

提示：在Python实现时，建议先用np.random.randn()初始化参数，并记录各参数的维度。例如对于n维特征，w的shape应是(n,1)，b则是标量。

2.2 损失函数与成本函数

单个样本的损失函数采用交叉熵形式：
L(ŷ,y) = -[y·log(ŷ)+(1-y)·log(1-ŷ)]

整个训练集的成本函数则是所有样本损失的平均：
J(w,b) = (1/m)·ΣL(ŷ⁽ⁱ⁾,y⁽ⁱ⁾)

在代码实现时，常见陷阱包括：

• 忘记加负号导致损失值为负
• 没有处理log(0)的情况（可添加极小值ε=1e-15避免数值不稳定）
• 错误计算均值（应沿样本轴取平均）

2.3 梯度下降的工程实现

参数更新规则看似简单：
w := w - α·∂J/∂w
b := b - α·∂J/∂b

但实际编程时有几个关键细节：

1. 学习率α的选择：可以从0.01开始尝试
2. 迭代次数的设置：建议先跑1000次观察损失曲线
3. 梯度计算验证：可通过数值梯度检验确保反向传播正确

我在首次实现时，曾因为忘记在梯度计算时除以m（样本数），导致模型完全无法收敛。这个bug花了两小时才排查出来，教训深刻。

3. 编程实践完整指南

3.1 数据预处理标准化

作业使用的猫分类数据集包含：

• 训练集：209张64x64RGB猫图
• 测试集：50张同规格图片

标准预处理流程：

1. 展平图像为(64x64x3, 1)的列向量
2. 对每个像素通道计算均值μ和标准差σ
3. 执行标准化：(x - μ)/σ

python复制# 示例代码片段
train_set_x_flatten = train_set_x_orig.reshape(train_set_x_orig.shape[0], -1).T
test_set_x_flatten = test_set_x_orig.reshape(test_set_x_orig.shape[0], -1).T

train_set_x = train_set_x_flatten/255.
test_set_x = test_set_x_flatten/255.

3.2 核心函数实现要点

sigmoid函数：

python复制def sigmoid(z):
    s = 1 / (1 + np.exp(-z))
    return s

注意处理大数值时的溢出问题，可添加数值截断。

初始化参数：

python复制def initialize_with_zeros(dim):
    w = np.zeros((dim, 1))
    b = 0.0
    return w, b

对于深层网络，全零初始化可能引发对称性问题，但逻辑回归中是可接受的。

前向传播与反向传播：

python复制def propagate(w, b, X, Y):
    # 前向传播
    A = sigmoid(np.dot(w.T, X) + b)
    cost = -np.mean(Y * np.log(A) + (1-Y) * np.log(1-A))
    
    # 反向传播
    dw = np.dot(X, (A-Y).T) / m
    db = np.mean(A-Y)
    
    grads = {"dw": dw, "db": db}
    return grads, cost

这里矩阵运算的顺序和维度广播是调试重点。

3.3 梯度下降优化实现

完整训练流程：

python复制def optimize(w, b, X, Y, num_iterations, learning_rate):
    costs = []
    for i in range(num_iterations):
        grads, cost = propagate(w, b, X, Y)
        
        dw = grads["dw"]
        db = grads["db"]
        
        w = w - learning_rate * dw
        b = b - learning_rate * db
        
        if i % 100 == 0:
            costs.append(cost)
    
    params = {"w": w, "b": b}
    grads = {"dw": dw, "db": db}
    return params, grads, costs

调试技巧：

1. 每100次迭代记录损失值并绘制曲线
2. 尝试不同的学习率（0.1, 0.01, 0.001）
3. 检查最终损失值是否合理（通常在0.3~0.5之间）

4. 常见问题与解决方案

4.1 维度不匹配错误

典型报错：

code复制ValueError: shapes (12288,209) and (12288,209) not aligned

解决方案：

1. 使用X.shape查看各矩阵实际维度
2. 确保w是(n,1)而非(1,n)
3. 检查np.dot()的参数顺序

4.2 模型准确率低

可能原因：

1. 学习率过大导致震荡不收敛
2. 迭代次数不足（至少2000次）
3. 未进行数据标准化

诊断方法：

• 绘制损失-迭代曲线观察趋势
• 在测试集上计算准确率：

python复制def predict(w, b, X):
    Y_prediction = sigmoid(np.dot(w.T, X) + b) > 0.5
    return Y_prediction

4.3 数值不稳定问题

症状：

• 出现NaN或inf
• 损失值异常波动

解决方法：

1. 在log计算中添加极小值：np.log(A + 1e-15)
2. 检查sigmoid输入值范围
3. 降低学习率

5. 作业扩展与进阶思考

完成基础作业后，可以尝试以下扩展练习：

1. 实现L2正则化（需修改损失函数和梯度计算）
2. 用不同的优化算法（如动量法）替代基础梯度下降
3. 在更复杂的数据集（如CIFAR-10）上测试模型

一个有趣的发现是：虽然这个模型结构简单，但在猫分类测试集上能达到约70%准确率。这说明即使不用复杂CNN，良好的特征工程配合基础模型也能获得不错效果。

我在教学过程中会特别强调维度检查的习惯培养。建议在每个关键运算后添加assert语句，例如：

python复制assert(w.shape == (num_px * num_px * 3, 1))

这能节省大量调试时间。