LeCun纽约大学深度学习公开课：从数学推导到代码实践

很多人收藏了一堆深度学习公开课，真正看完的却没几门。纽约大学深度学习这门课，LeCun 教授 2021 年的英文原声版本属于典型代表：内容密度大、推导快、英文讲授、配套资料还得自己去凑。标题里那个六位数的播放量其实说明了一件事——跟这门课的人不少，能完整走完的人不多。它解决的不是"我该学什么"的问题，而是"我能不能在一个学期的时间尺度上，把神经网络从原理到工程实现连成一条线"。适合谁看？适合已经会写 Python、学过一点微积分和线性代数、但被各种碎片教程绕晕的人。不适合零基础、也不适合只想抄一段能跑通的代码的人。最值得关注的不是课程名气，而是它的组织方式：先把数学动机讲清楚，再落到网络结构和训练细节，最后延伸到当时的研究前沿。这种顺序对建立自己的知识框架很有用，代价是前期强度不低。

1. 先判断这门课的门槛和你的位置是否匹配

1.1 英文原声加配套资料，真实难度落在哪里

很多人对这类课程的第一误解是"英文听不懂才学不下去"。实际卡住大多数人的，不是语言，是节奏。

一门 2021 年的研究生级深度学习课，讲授速度是按"学生已经具备基础"来设计的。教授在黑板上推几行公式，可能就跳过了两三个中间步骤；讲到某个损失函数为什么这么设计，往往一句话带过动机，直接进入性质分析。这时候如果英文听力还停留在逐句翻译的阶段，你会同时损失两样东西：语言理解的时间和推导跟进的余量。

所以门槛要拆开看，语言只是一部分：

• 数学门槛：多元微积分、线性代数、概率基础。不需要每一条都熟练到能默写，但看到雅可比矩阵、链式法则、期望和方差的时候，脑子不能停摆。
• 编程门槛：能读写 Python，知道 NumPy 的数组广播，见过一次完整的训练循环。没写过 for epoch in range(...) 这种结构的，建议先补两周。
• 英文门槛：能听懂技术讲座的大意，允许漏掉修饰性词汇。术语听不出来是正常的，术语不认识才是问题。
• 时间门槛：这是最被低估的一项。一门研究生课的课外投入通常是课时的两到三倍。

我一般建议的做法是先试三讲。找连续的三讲，不查词典、不暂停，正常倍速看一遍，记录两件事：能跟上多少推导，能复述多少结论。如果推导只能跟上三成，说明数学要补；如果推导跟得上但结论复述不出来，说明是英文听力的问题；如果两样都还行但看完什么都没留下，那是学习方法的问题，不是课的问题。

配套资料这块要提前说清楚。公开流传的课程资料通常包括讲义幻灯片、作业说明、部分代码或者参考实现。但资料和视频之间不一定严格对齐，年份不同、版本不同，章节编号也可能对不上。拿到一套资料之后，第一件事是把它和视频列表对一遍，做一张自己的对照表，别指望资料本身是完整教材。

注意：不要把"看完全部视频"当成目标。做完全部能跑通的实验，比看完所有视频有价值得多。

1.2 三类人跟这门课的收益差别很明显

同样一门课，不同基础的人收益能差出好几倍。我按实际观察分三类。

第一类：有机器学习基础，缺系统训练。 这类人收益最高。他们知道什么是过拟合，见过交叉验证，写过简单的分类器，但知识是碎的——知道卷积能提取特征，说不清为什么权重共享能减少参数量。这门课的价值在于把这些碎片按正确的依赖关系重新串起来。跟完之后，看论文时的路径会短很多，至少知道每一节在解决什么问题。

第二类：工程能力强，数学弱。 这类人能很快把代码跑起来，但容易停在"调包"层面。对他们来说，课程前半段的数学推导是最难也最值得硬啃的部分。我的建议是允许自己慢，一讲看两遍，第一遍看动机和结论，第二遍跟着黑板补中间步骤。不要因为推导看不懂就跳过，跳过三次之后，后面所有涉及梯度、优化、正则化的内容都会变成黑箱。

第三类：完全零基础。 这类人不建议直接上。不是不能看，是投入产出比太低。更稳妥的路径是先找一门本科级别的机器学习入门课，把监督学习的基本框架走一遍，写两三个从零实现的小模型，再回来跟这门课。否则会出现一种很消耗人的状态：每一讲都听得懂大意，但每一讲都做不出作业。

还有一个容易被忽略的维度是你当下的目标。如果目标是尽快做一个能上线的应用，这门课不是最优解，直接找对应框架的官方教程更快。如果目标是建立长期可迁移的理解，能读论文、能判断一个方法为什么有效，那这门课的投资回报就很高。目标不同，对"学完"的定义也应该不同。

2. 开工之前把环境、数学和资料整理到位

2.1 数学补课要按需补，不要从教材第一页开始

很多人一决定学深度学习，第一反应是买一本数学教材从头看。这个做法的问题在于反馈周期太长，看完前五章可能已经失去动力，而这五章里真正马上要用的可能只有两节。

更有效的做法是反向补：先看课程，遇到卡住的数学点，当场查、当场补，补完立刻回到课程。具体到这门课，前期最常卡住的是这几块：

这张表不是让你提前全学会，而是让你在卡住的时候知道该查什么。查的时候有个技巧：优先查"这个东西为什么在这里出现"，而不是"这个东西的完整定义"。定义可以随时补，动机丢了就接不上了。

补数学的时间建议控制在整个学习周期的两成以内。超过这个比例，说明要么前置基础确实不够、应该先补一轮再开始，要么是在用"学数学"逃避"写代码"。

2.2 实验环境一次搭好，避免反复返工

深度学习课程最耗人的环节之一，是环境。跟着视频敲代码，结果版本不匹配、CUDA 报错、依赖冲突，一天就没了。所以环境要在开始看课之前一次性搭好，并且记录下来。

我一般会做三件事：固定 Python 版本、用独立虚拟环境、把依赖写进文件。

bash复制# 用 conda 建一个独立环境，避免污染系统 Python
conda create -n dl-course python=3.10 -y
conda activate dl-course

# 装基础科学计算库
pip install numpy pandas matplotlib jupyter

# 装深度学习框架，CPU 版本先跑通逻辑
pip install torch torchvision

先装 CPU 版本是故意的。课程前期的实验多数是小规模验证，用 CPU 跑完全够，好处是排除了显卡驱动、CUDA 版本、显存不足这些干扰项。等确认代码逻辑没问题，再换成 GPU 版本，这时候出问题就只可能是环境问题，排查范围小很多。

依赖要落盘，不要只在命令行里装：

text复制# requirements.txt 示例，版本号按你实际安装的写
numpy
pandas
matplotlib
jupyter
torch
torchvision

这样做的原因很实际：一门课要跟几周甚至几个月，中间你可能会换机器、重装系统、或者同时跟别的课程。没有依赖清单，第二次配置环境还得重新踩一遍坑。

还有几个环境细节值得提前定下来：

• 目录结构：按讲次分目录，每讲下面固定放 notes/、code/、output/。别把所有脚本堆在根目录，两周之后就找不到了。
• 随机种子：所有涉及随机的实验，第一行就固定种子。课程演示的结果和你跑出来的对不上，八成是随机性导致的。
• 输出目录：训练日志、模型权重、图片结果分开放。混在一起会导致磁盘越来越乱，最后不知道该删哪个。
• Jupyter 还是脚本：探索阶段用 notebook，验证阶段写成 .py。notebook 里藏着的执行顺序问题，会在复现时集中爆发。

注意：不要在环境上追求"最新版本"。课程是 2021 年的，部分 API 可能已经变化。遇到调用报错，先查这个函数在当前版本里的签名，不要急着降级整个环境。

3. 英文原声的观看节奏决定你能不能走完

3.1 第一遍抓结构和动机，第二遍才抠推导

看技术类英文课程，最常见的错误是"逐句精听"。一集一小时的课，暂停查词、回放确认，看完要三小时，一周之后就放弃了。

我推荐的是两遍法，但两遍的目标完全不同。

第一遍：正常倍速，不暂停。 目标只有一个——搞清楚这一讲在解决什么问题、用了什么方法、得到了什么结论。推导过程跟丢是正常的，允许它丢。这一遍结束时，你应该能用三句话概括这一讲。写不出来，说明这一遍白看了，需要重看，而不是往下走。

第二遍：只挑关键段落，慢速甚至暂停。 哪些是关键段落？第一遍里你明显跟丢推导的地方、讲到方法设计动机的地方、以及最后和前后讲衔接的地方。第二遍不需要从头到尾，跳着看完全没问题。

这个方法背后的逻辑是：理解是有层次的。先建立骨架，再填血肉。反过来做，每一块血肉都很清楚，但拼不成整体，学到第五讲就忘了第一讲在讲什么。

实操上还有几个小技巧：

• 开英文字幕，但不要开中文字幕。 中文字幕会让你不自觉地跳过英文，术语的英文表达永远建立不起来。而术语恰恰是后面读论文的门票。
• 术语单独记一张表。 遇到反复出现的词，记下英文、中文、一句话解释、出现在哪一讲。这张表到后期会比笔记更有用。
• 每讲结尾暂停一分钟，口头复述。 用自己的话说一遍这讲做了什么。说不出来就是没懂，别骗自己。

3.2 笔记要写成"能讲给别人听"的样子

笔记的形式很大程度上决定了学习效果。抄板书是最没用的形式——抄的时候不动脑，抄完也不会看。

我更推荐的结构是每讲一页，包含四块固定内容：

1. 这一讲要解决的问题（一句话）
2. 核心方法或结论（三到五条，用自己的话）
3. 卡住的地方（明确写出来，标注待查）
4. 最小验证代码或手算例子（能跑或者能算出来）

第三块特别重要。很多人学东西的习惯是"看不懂先跳过"，跳过的东西会积累，积累到某个临界点，整门课就跟不下去了。把卡点显式写出来，相当于给自己建了一个待办清单，可以集中处理。

第四块是这门课最容易被忽略的部分。深度学习里很多概念，看文字描述觉得懂了，实际动手一算就露馅。比如反向传播，看讲义觉得就是链式法则，真手推一个三层网络，梯度符号错、维度转置漏，问题全出来了。花二十分钟手算一个小例子，比看三遍推导有用。

笔记的载体建议用 Markdown，不要用需要联网的笔记软件。原因很简单：几年后你还能打开它，公式和代码块也不会丢格式。数学公式用 LaTeX 写，虽然开始麻烦，但长期收益明显。

4. 每讲必须落到代码，否则理解是假的

4.1 从最小可运行例子验证概念

课程讲完一个概念，最有效的巩固方式是写一个最小实现。不是复现论文里的完整模型，是把这个概念单独拎出来跑一遍。

举个具体例子。讲完梯度下降和反向传播，不要急着搭一个完整的图像分类网络，先做这件事：

python复制import torch

# 用最简单的线性回归验证梯度下降的每一步
x = torch.randn(100, 3)
true_w = torch.tensor([2.0, -1.0, 0.5])
y = x @ true_w + 0.1 * torch.randn(100)

w = torch.zeros(3, requires_grad=True)
lr = 0.1

for step in range(200):
    pred = x @ w
    loss = ((pred - y) ** 2).mean()
    loss.backward()
    with torch.no_grad():
        w -= lr * w.grad
        w.grad.zero_()
    if step % 50 == 0:
        print(f"step {step}, loss {loss.item():.4f}")

print("学到的权重:", w.detach().numpy())
print("真实权重:", true_w.numpy())

这个例子的价值不在于它多复杂，而在于它把"损失下降"这件事变得可观察。你可以改学习率看它发散，可以把梯度清零去掉看结果错乱，可以把数据量减到 5 个看它过拟合。这些操作花不了十分钟，但对"训练到底在发生什么"的理解，比看十页讲义扎实。

同样的方法可以用在后续每个主题上：讲卷积，就写一个 3×3 卷积核在随机矩阵上滑一遍，手动核对一个位置的输出；讲正则化，就在同一个任务上开和关对比训练集、验证集的曲线；讲优化器，就固定数据和初始化，只换优化器看收敛曲线。

关键原则是一次只变一个东西。同时改学习率、批量大小和网络结构，结果变好了你也不知道是哪个起的作用。这是实验设计的基本功，也是很多人做了很多实验却总结不出经验的原因。

4.2 判断"学会了"的标准要具体

"我学会了"是个很虚的判断。给自己定几个可验证的标准，情况会清楚很多。

表格里第四项是分水岭。很多人能跑通示例代码，但换一个数据集就全崩。这说明掌握的是流程，不是原理。真正的检验是：给你一份新的数据，你能判断出需要改哪些地方——输入维度、损失函数、输出激活、评估指标，这四处至少能说出三处。

还有一个判断标准很实用：能不能把这一讲的内容讲给一个学过基础机器学习的人听，并且他听懂了。 讲解会强迫你处理所有模糊的地方。凡是讲到一半卡壳的，就是没真懂。

注意：不要用"代码跑通了"当作学会的标志。跑通只说明接口用对了，不说明你知道为什么这么设计。

5. 卡住的时候按这个顺序排查

5.1 概念卡住、代码报错、结果不对，是三件事

这三类问题的排查路径完全不同，混在一起处理会浪费大量时间。

第一类：概念卡住。 表现是看讲义看不懂、看视频跟不上。排查顺序：

1. 先确认是不是术语问题。把不认识的词列出来，查清楚定义。很多"看不懂"其实是"不认识词"。
2. 再确认是不是前置知识缺失。比如看不懂变分推断，可能是概率图模型没学过，这时候要往回补，硬啃没用。
3. 最后确认是不是材料本身跳跃。有些讲义默认你熟悉上一讲的内容，跨讲查阅是必要的。

第二类：代码报错。 表现是运行直接失败。排查顺序：

1. 读完整报错信息。不是读第一行，是读最后一行的错误类型和中间的文件路径。
2. 看形状。深度学习代码的报错八成和 tensor 维度有关，打印 x.shape 永远是第一步。
3. 看设备。数据和模型是不是在同一个设备上，CPU 和 GPU 混用是最常见的低级错误。
4. 看版本。课程是 2021 年的，API 可能改过。查函数签名，别猜。

第三类：能跑但结果不对。 这类最难查，因为没有任何报错。排查顺序：

1. 数据。先打印几条样本，看标签对不对、归一化有没有做、通道顺序对不对。数据错了，后面全是白费。
2. 损失。损失函数的输入输出形状和取值范围是否符合预期。分类任务用交叉熵，模型输出应该是 logits，不是 softmax 之后的概率——这个坑非常常见。
3. 学习率。损失不降，先降学习率试一轮。损失变成 NaN，也是先降学习率。
4. 初始化。权重全零会导致对称性无法打破，梯度消失多半和初始化或激活函数有关。
5. 评估。模型在训练集上表现好、验证集上差，是过拟合；两边都差，是欠拟合或代码有问题。

这个顺序的原则是从上游到下游。数据在最上游，模型在中间，评估在最下游。上游错了，下游怎么调都是错的。

5.2 中途放弃的几个真实原因

跟这类长课程，放弃往往不是因为难，是因为几个很具体的原因。

原因一：想一次全懂。 一门研究生课，第一遍就能全懂是不现实的。接受"先过一遍、回头再补"这个节奏，比追求完美进度更重要。我一般会允许自己有 20% 的内容第一遍完全不懂，标记下来，第二轮再处理。

原因二：环境问题积压。 每次跑代码都遇到新报错，几次之后就不想打开电脑了。解决办法是集中花半天把环境彻底理顺，写一份自己的环境说明，之后遇到问题先查这份说明。

原因三：只看不写。 视频看得很快，感觉很充实，但什么都不动手。这种状态能持续很久，直到某天想用的时候发现完全不会。给自己定一条硬规则：每讲至少写一段能跑的代码。

原因四：进度落后就放弃。 计划一周两讲，某一周忙只跟了一讲，然后觉得计划崩了，干脆不跟了。更现实的做法是按周排计划但留缓冲，整个周期预留两到三周的机动时间。

原因五：没有输出。 学完没有任何产出，动力会衰减。哪怕只是每周写一段笔记发在自己的博客上，也会形成正向反馈。

6. 把学习周期排成可执行的计划

6.1 按周推进的节奏参考

一门完整的研究生课程，按每周投入 8 到 10 小时算，走完大概需要三到四个月。这个时间不能压缩太多，因为消化需要间隔。

一个可参考的节奏：

这张表的关键不是时间数字，是阶段划分背后的依赖关系。基础期没走稳，核心期的内容会变成背结论。扩展期跳过，前面的知识没有出口，很快会忘。

每周的具体安排我建议是这样：先看视频建立框架，再读讲义补细节，然后写代码验证，最后写一段总结。四步的顺序不要换，因为每一步的产出是下一步的输入。

如果某一周实在没时间，宁可完整走完一讲，也不要两讲各看一半。半成品的内容既不能形成框架，也没法验证。

6.2 学完之后往哪个方向接

课程结束不是终点，是切换材料的节点。几个可行的方向：

读原始论文。 课程里提到的每个方法都有对应的论文。挑三到五篇精读，其余的读摘要和实验部分。读的时候带着课程里的框架去看，会发现结构很熟悉。

做一个小项目。 找一个自己感兴趣的数据集，从数据清洗到模型训练到结果分析完整走一遍。项目不用大，但每个环节都要自己动手。这一步的价值在于把课程里的理想条件和真实数据的脏乱差对上。

复现一个开源实现。 找一个成熟仓库，读它的代码结构，然后自己从头写一遍。对比差异的地方，往往就是工程经验和课程知识的差距所在。

回到数学。 跟完一遍之后再看数学，理解会完全不同。这时候补数学的效率比一开始高得多，因为你知道每个工具用在哪里。

最后说一句实际的：这类课程的真正价值不在看完那一刻，而在半年后你遇到一个新问题，能想起"这个东西在某一讲里出现过，当时的思路是……"。为了这个效果，笔记和代码要留着，命名要清楚，别三个月后自己都找不到。