非线性优化迭代方法精讲：从梯度下降到非凸策略

写这篇笔记的时候，我本来是在整理凸优化那一整套漂亮的理论推导，什么强对偶、KKT条件、次梯度，一步步写下来都挺顺的。但真到了处理实际优化问题的时候，心里很清楚：绝大多数工程里碰到的目标函数不是凸的，更不会乖乖满足那些光滑性假设。就算运气好碰到一个凸问题，手算解析解也不现实。所以到了第七篇，得老老实实地把视野拉回到“一般非线性最优问题”上，聊聊那些没有闭式解、没法一步到位的问题，究竟靠什么思路被“磨”出解来。

这一篇我不打算堆定理证明，重点讲清楚迭代解法的骨架逻辑：怎么从当前点走到下一个点，怎么判断该停了，遇到非凸的坑又该怎么办。无论你后面要去用求解器，还是自己动手写数值优化代码，这套思考框架都是通用的。

1. 为什么这类问题没有“一步到位”的公式解

先想一个问题：解线性方程组能有高斯消元，解无约束二次优化能直接令梯度为零然后解线性方程，为什么换成一般非线性问题，就没法用类似的办法一步算完？

本质原因是，一般非线性问题的最优性条件往往落到一个非线性方程组上。比如无约束问题

$$\min_{x \in \mathbb{R}^n} f(x)$$

要满足一阶必要条件 $\nabla f(x) = 0$。但这个方程本身可能是高度非线性的——它可能没有解析表达式，可能有多个根，甚至这个方程组本身都不知道怎么列出来。换句话说，你要找的是“某个方程组的根”，但求根本身就是另一个难题，等于把问题从“优化”平移到了“解非线性方程”，难度并没有降低。

还有一个更麻烦的现实：$f(x)$ 的表达式很多时候根本不是显式的。我早年在做一个材料参数反演问题的时候，目标函数是从有限元仿真里“跑”出来的，每一次函数求值都要等十几秒的仿真结果。你给我这样一个黑箱函数，让我写出它的梯度，甚至写出最优性条件的解析表达式，这在工程上完全行不通。

所以迭代法必须登场。它不指望一步到位，而是用“从某个起点出发，按某种规则一步一步改进当前解”的方式去逼近那个真正的最优点。每一步的代价有限，只要能保证“走了这一步之后，离目标更近了一些”，就可以一直走，直到某一步发现“再走也提升不了多少”了，就停下来，把当前点当作近似解输出。

这里引出了迭代解法最核心的思想：用“有限的、可重复的局部操作”去逼近“全局的、精确的”解。这种思想其实人类很早就用了，比如牛顿法解方程，比如二分法找零点——每一步都只基于当前信息和局部邻域做决策，不需要看清全局地貌，但多走几步之后，路线自然就清晰了。

很多刚学优化的同学会纠结“迭代得到的是不是精确解”。答案当然不是，但这恰恰是迭代法的优势所在：我可以根据自己的精度要求决定什么时候停。业务上允许误差是 1e-3，那我可以少迭代几步、省下大把计算资源；如果允许误差是 1e-12，那我可以让算法继续跑下去。这种“精度-代价”的自由度，是解析方法给不了的。

2. 迭代框架的总纲：方向、步长、停止判定三件事

几乎所有非线性优化迭代算法，不论包装成什么花哨的名字，核心结构都长一个样。假设当前迭代点在第 $k$ 步是 $x_k$，下一步长这样：

$$x_{k+1} = x_k + \alpha_k d_k$$

一个完整迭代框架必回答三个问题：

1. 方向 $d_k$ 怎么选——这是算法的“性格”所在。梯度下降法选负梯度方向，牛顿法选牛顿方向，共轭梯度法选共轭方向。方向的设计决定了算法在理论上的收敛速度，也决定了它每一步的成本。
2. 步长 $\alpha_k$ 怎么定——方向选对了，一步迈太大可能直接跨过最优解甚至发散，迈太小又半天走不到。步长策略本质上是“在多大程度上相信当前方向”。
3. 什么时候停——不能无限跑下去，总得有个退出机制。常见的判断包括梯度范数足够小、相邻两轮目标函数值的下降量足够小、迭代步数到达上限等等。这三件事环环相扣：方向决定了算法的收敛阶数（线性收敛、超线性收敛还是二次收敛），步长策略决定了每一步是否真的能让目标函数稳定下降，而停止准则决定了你的最终结果是“真解”还是“自欺欺人”。

我印象里第一次手写优化代码时，方向用的最简单负梯度，步长直接给定长 0.1，也没有好好写停止准则。结果跑倒是跑了，就是震荡着前进，最后看日志发现目标函数一会儿上一会儿下，完全没法判断到底在没在收敛。后来才明白，这三个部件必须配套设计：一个优秀的牛顿方向配合一个粗糙的步长策略，效果未必比最速下降配合精确线搜索好。

还有一个容易被忽视的细节：在有约束问题里，$d_k$ 还必须满足“可行性”要求——它得指向可行域内部，否则下一步直接跑到约束外面去了。这个问题我在后面第 5 节专门展开。

我这里先总结成一个简单的三层结构，后续所有方法都能往里套：

3. 方向选择的两条路线：最速下降为什么慢，牛顿法为什么贵

3.1 最速下降法：简单直观，但收敛可能慢得让人崩溃

最速下降法选方向 $d_k = -\nabla f(x_k)$。理由听上去非常充分：在局部，目标函数下降最快的方向就是负梯度方向。

问题是“局部”和“整体”之间存在巨大裂隙。什么叫下降最快？它只在“无穷小步长”的意义上成立。一旦你真正迈出一大步，梯度的二阶变化就会让这条路径偏离理想方向。尤其当目标函数的等值线是拉得很长的椭球形时——也就是常说的条件数很大——最速下降法会出现典型的“锯齿现象”：在谷的两侧来回弹跳，却沿着谷底的方向走得极其缓慢。

我之前拿一个病态二次函数做过测试，目标函数是

$$f(x) = x_1^2 + 1000,x_2^2$$

这个问题的条件数大约是 1000，从起点 $(1, 1)$ 出发用最速下降法求解，迭代了一百多步离最优点还差着一大截，而且每一步的方向都是近乎垂直地来回震荡。等值线是又窄又长的椭圆，负梯度方向几乎总是指向椭圆长轴的法线方向，所以每一步都在来回横跳，真正沿长轴向中心推进的量非常少。条件数越大，这种“横跳”越严重。

3.2 牛顿法：收敛飞快，但每步代价高得吓人

牛顿法的思路其实跳出了“沿负梯度走”的框架。它用目标函数的二阶泰勒展开来近似局部信息：

$$f(x_k + d) \approx f(x_k) + \nabla f(x_k)^\top d + \frac{1}{2} d^\top \nabla^2 f(x_k), d$$

对这个近似二次模型求极小，得到线性方程组

$$\nabla^2 f(x_k), d_k = -\nabla f(x_k)$$

解出 $d_k$ 作为搜索方向，就是牛顿方向。如果函数本身是二次的，这一步直接到达精确最优解；如果是接近二次的光滑函数，牛顿法会表现出令人愉悦的二次收敛——每一步的有效数字差不多会翻倍。

但这里有一个“贵”的问题。$\nabla^2 f(x)$ 是 $n \times n$ 的Hessian矩阵，除了少数特殊结构的问题，计算它需要 $O(n^2)$ 甚至更多的函数信息，再求一次线性方程组又得 $O(n^3)$ 的运算量。当 $n$ 是几百、几千甚至上万时，这个代价工程上几乎无法接受。

更要命的是，当迭代点离最优点很远时，二阶泰勒展开的局部近似并不一定可靠。牛顿方向甚至可能是一个上升方向，或者把点带到某个鞍点附近。所以纯牛顿法在全局收敛性上反而很差。我观察到很多人在做无约束优化时，早期迷信“牛顿法快”，一上手就上牛顿法，结果初值差一点经常会遇到方向不对导致目标值反升，然后调试半天。

真正实用的做法，是把这两种思路混合起来用：前期用最速下降这种稳健方法先“下山”到一个像样的区域，后期切换到牛顿法或拟牛顿法提高收敛精度。这也是很多成熟求解器内部策略的逻辑。

3.3 两个折中方向：拟牛顿法与截断牛顿法

拟牛顿法不直接计算Hessian，而是用每一次迭代的梯度变化信息去逐渐逼近Hessian的近似。经典的BFGS更新公式：

$$B_{k+1} = B_k - \frac{B_k s_k s_k^\top B_k}{s_k^\top B_k s_k} + \frac{y_k y_k^\top}{y_k^\top s_k}$$

其中 $s_k = x_{k+1} - x_k$，$y_k = \nabla f(x_{k+1}) - \nabla f(x_k)$。只需要一阶梯度信息，但收敛速度可以达到超线性收敛，而且实现相对容易。大内存场景还会用L-BFGS，只存最近 m 次迭代的 $s_k$ 和 $y_k$，内存占用大幅下降到 $O(mn)$，是工程上解决大规模无约束优化的一把好手。

截断牛顿法则反过来：不显式计算Hessian，每次迭代用共轭梯度法（CG）内层迭代近似求解牛顿方程，控制内层迭代的精度，从而在“每一步成本”和“总迭代次数”之间取得平衡。这种思想在现代大规模优化里非常主流，很多求解器内核都长这样。

4. 步长怎么定：线搜索条件与信赖域思路

4.1 把“下降”这件事说清楚：Armijo条件与Wolfe条件

选好了方向，接下来就是步长。很多人第一反应是“只要让 $f(x_k + \alpha d_k) < f(x_k)$ 不就行了吗？”不够。这个条件太弱了，它允许你迈出极小极小的一步，目标函数确实下降了，但下降量微乎其微，整体进度慢到不可接受。

工程上常用的线搜索条件有多套，最基础的是Armijo条件（充分下降条件）：

$$f(x_k + \alpha d_k) \le f(x_k) + c_1 \alpha \nabla f(x_k)^\top d_k$$

它要求目标函数下降量必须与步长、方向导数的乘积成比例，而不能只是象征性下降一点。一般 $c_1$ 取 1e-4 这种很小的正数。光有这个条件还不够，它能防止步长太大时的大幅上升，但无法防止步长太小。所以实际做非精确线搜索时，通常还会配合曲率条件（Wolfe条件）：

$$\nabla f(x_k + \alpha d_k)^\top d_k \ge c_2 \nabla f(x_k)^\top d_k$$

要求方向导数在步长终点处没有“太强地”继续保持负值。直观理解就是：步子已经差不多把这个方向上的下降潜力用完了，没必要再走更远了。$c_2$ 一般取 0.9 左右。

如果你的优化问题是严格光滑的，用这套条件可以保证收敛性。有趣的是，很多理论证明都对线搜索条件给出明确要求，但在实际代码里我发现不少人直接用固定步长 0.01，然后抱怨梯度下降“走不动”。这不是算法的问题，是你没给算法一个合理的自适应步长机制。

4.2 回溯线搜索的落地做法

我自己的习惯是先用回溯法（backtracking line search）：初始步长设 1，如果Armijo条件不满足，就把步长乘一个 0.5～0.8 的缩减因子，循环直到条件满足。这个过程非常便宜，因为只要目标函数能算，几次尝试就能找到一个“足够好”的步长。

举个例子，用牛顿法配合回溯线搜索，每步先尝试全牛顿步长 $\alpha=1$，如果不行就缩小。这样做在理论上还能保证算法具有全局收敛性——即使牛顿方向偶尔不靠谱，步长策略也能把整体过程拉回正轨。这种“方向激进 + 步长保守”的组合，是我在工程上最常用的配方。

需要注意的坑是，回溯线搜索每次尝试都要重新计算一次 $f(x)$。对那种一次函数求值就非常贵的黑箱问题，反复回溯会吃掉大量预算。一个缓解方案是把初始步长设得更聪明一点，比如根据相邻两轮梯度方向的变化预估合适的初始步长，而不是每次都无脑从 1 开始。

4.3 另一种思路：信赖域为何能避免“步长太大翻车”

线搜索策略是“先选方向再选步长”，信赖域策略则是“把步长限制在一个区域里，再在区域内同时决定方向和步长”。每次迭代，根据当前局部模型的可信程度划定一个半径 $\Delta_k$，在这个圆域里最小化模型；如果模型与实际函数的吻合程度很高，就扩大区域；如果不高，就缩小区域。

信赖域的好处在于，它天然不会让算法迈出过于激进的一步，因为在模型不可靠的地方根本不给你走太远的机会。坏处是实现复杂度更高——每一步要在约束 $|d| \le \Delta_k$ 下求解一个带不等式约束的子问题。这个子问题也要迭代求解，额外开销不可忽视。

实际工程中，我在处理那些Hessian信息不可靠或者目标函数形态剧烈变化的问题时，会更信任信赖域；而在函数光滑、梯度计算相对便宜的问题上，线搜索加拟牛顿往往更省事。

5. 约束问题怎么融入迭代骨架：罚函数、增广拉格朗日与投影

很多实际问题并不只是最小化目标函数，还带着一堆等式和不等式约束。比如“成本最小化，但不能超过资源上限”。处理这类问题，可以把约束“吸收”到迭代框架里，常见有三条路线。

5.1 直接对KKT条件做牛顿迭代

有约束问题的最优解，通常要满足KKT条件。KKT条件是一组包含原变量和对偶变量的方程组/不等式组。如果你愿意，可以直接把这组条件作为目标，用牛顿法去“解”它。这就是所谓“直接法”或者“SQP（序列二次规划）思想”的雏形。好处是收敛快，但对初值和问题的光滑性要求很高，工程中一般需要配合专门的全局化策略，否则很容易发散。

5.2 罚函数法：把约束变成目标函数里的惩罚项

惩罚的思想其实特别朴素：你违反约束，我就让你的目标函数值变得很大。构造：

$$P_\rho(x) = f(x) + \frac{\rho}{2} \sum_{i} \big( c_i(x) \big)^2$$

只要 $\rho$ 足够大，惩罚项会逼着迭代点回到可行域附近。罚函数法实现简单，但它有个通病：$\rho$ 太小了约束根本守不住，$\rho$ 太大又会让这个问题变得病态——惩罚项的巨大梯度会支配目标函数，数值上很难继续迭代。

5.3 增广拉格朗日：比纯罚函数稳健得多

如果想稍微优雅一点，可以用增广拉格朗日法。以等式约束 $c(x)=0$ 为例，构造拉格朗日函数并加上二次惩罚：

$$\mathcal{L}_\rho(x, \lambda) = f(x) + \lambda^\top c(x) + \frac{\rho}{2} |c(x)|^2$$

迭代时先固定乘子 $\lambda$ 对 $x$ 做一轮无约束优化，再更新 $\lambda \leftarrow \lambda + \rho, c(x)$。这个方法的绝妙之处在于：它会不断从对偶乘子中“记住”之前惩罚不足的部分，所以即使 $\rho$ 不用取得特别大，也能把约束误差压得很好。

我在一个小规模的最优控制问题里试过罚函数法和增广拉格朗日法，前者的 $\rho$ 我调到 1e6 才能满足约束精度，但目标函数下降变慢了；后者用 $\rho=100$ 就能达到同样的精度，而且迭代过程稳定得多。所以能上增广拉格朗日的时候，我基本不会选纯罚函数。

对于无约束的迭代框架来说，增广拉格朗日相当于把“处理约束”的复杂度从主循环里剥离出去了：你可以心安理得地复用前面所有的无约束迭代算法，把它当作一个子程序来调用。这种模块化思想在写求解器代码时非常解耦。

6. 非凸战场上的残酷现实：局部极小、鞍点与初始点的选择

一旦目标函数非凸，事情立刻变得复杂起来。凸优化里你摸着黑也能放心走，因为只要梯度为零那就是全局最优；非凸问题里，梯度为零的点可能是局部极小、局部极大或鞍点，站在山脚下你怎么知道自己所在的谷底不是某个更深山谷的“假底”？这问题理论上是NP难的，没有通用办法保证跳出所有局部极小。

但现实工程并不需要“理论上的保证”，它需要的是“足够好的可行解”。所以实践里我会用这些策略：

• 多起始点：以不同的初值分别跑一轮完整的迭代过程，最后比较每个收敛点的目标函数值，取最优的那个。这个方法不聪明但极其有效。我自己做模型标定时至少会跑 20 个随机起点，多半能圈出几个不同的谷底。
• 扰动重启：当算法收敛到一个解时，对解施加一个小扰动，再从扰动后的点重新跑一轮。如果还是落回同一个谷底，说明这个谷底很可能是个局部极小且有相当的“吸引域”；如果跑向了另一个更低的目标值，说明之前那个就是坏的局部解。
• 随机化方向：迭代早期允许算法偶尔尝试一些非梯度的探索方向，比如模拟退火的Metropolis准则、或单纯形的反射扩张等。这种方式能帮助算法跳出一些比较浅的局部极小盆地区域，但代价是收敛阶段会变得不够“干净”，一般可以作为预处理阶段使用。

再说鞍点。在高维非凸问题里，鞍点比局部极小还要常见得多。因为鞍点处的梯度也是零，常规的一阶迭代会卡在那里，但如果你用二阶信息分析，会发现Hessian矩阵有正有负——它在某些方向上是山谷（上升方向），某些方向上是山脊（下降方向）。这就引出了一个思路：路过疑似鞍点时，主动往“Hessian负曲率方向”走一步，而不是傻傻停在零梯度处。很多现代非凸求解器之所以表现好，很大程度上就是实现了这类“负曲率探测”策略。

这也解释了一个常见的困惑：为什么非凸问题有时反而推荐用带一点随机噪声的迭代方法？因为噪声在本质上起到了一种“自动探索负曲率方向”的作用——在平坦区被噪声踢一脚，可能正好踢向那个真正下降的方向。

7. 求解器的“非凸策略”与迭代参数的实际观察

现在市面上的非线性优化求解器越来越多，界面也越来越友好。很多人点一下就出结果，但完全不理解结果为什么长这样，遇到结果不对就手足无措。这里我就结合上面讲的内容，说几个观察求解器的实际角度。

现代求解器处理非凸问题的通用套路，一般可以拆成“全局化试探 + 局部强收敛”两段式。首先它会尝试若干初值，或者在迭代早期允许某种“探索机制”——比如B&B分支定界、多起点、或摄动重启——从而避免一头扎进一个很差的谷底。在“看哪里都差不多”的阶段，它再切换到高性能的局部算法（通常是带线搜索的拟牛顿、信赖域，或者内点法）快速收敛到高精度。

因此你在使用求解器时，真正值得关注的参数不是“要不要用非凸模式”这种笼统选项，而是：

• 多起点的数量：跑得越多越可能找到好解，但时间也线性增加，需要按预算取平衡；
• 局部收敛的容忍度（tolerance）：设 1e-3 可能早就够用，设到 1e-10 纯属给自己找罪受；
• 对最终解做扰动验证：很多求解器不会自动做“这是不是真最优”的验证，你需要自己从当前解附近多试几个扰动初值再看是否更优。

我在评估一个新求解器时，第一步会拿一个已知最优解且目标函数是强非凸的测试问题跑一遍，把求解器的日志打开，观察目标函数随迭代次数的变化曲线。如果曲线出现“平台期后突然下降”的跳跃型行为，说明求解器早期其实陷入了一个局部区域，后来靠某种探索机制跳了出来。这种跳跃型迭代过程本身，就是求解器“非凸策略”在起作用的最直观证据。

8. 写在最后：几条从写代码里磨出来的实在经验

迭代解法说到底是数学、算法与工程实现三者的交汇。理论告诉你什么方向在无穷小意义下有效，算法告诉你如何在有限步里去近似这个无穷小过程，而工程实现则逼着你在每一步都要面对数值误差、计算成本和退出判定这些“不性感”的细节。

我自己的经验就三条，但每条都是踩过坑换来的：

第一，迭代过程里一定要保存历史信息。梯度、步长、目标函数值、约束违逆量这些日志，一定要有记录。当你的算法某次跑飞了，回头看日志往往十分钟就能定位原因；没有日志，你只能从头瞎猜。

第二，永远先用小规模、形状可控的测试问题验证算法正确性，再上大规模真实问题。人很容易一上来就解一个大问题，跑了几小时发现发散，然后连是“方向选错”还是“步长不对”还是“数值精度不够”都分不清。小问题可以手算或求助于穷举验证，能快速暴露迭代框架的逻辑漏洞。

第三，对于一般非线性优化问题，不要幻想有一个“万能算法”能盲打天下。不同问题形态对应不同策略：光滑低维问题可以信赖域或牛顿法；高维但只有梯度信息的问题选L-BFGS大概率是性价比之王；非凸严重、且求一次值很贵的问题，不妨多花时间找好初值而不是单纯堆迭代步数。

回头再看标题里的“凸优化基础笔记”，虽然这一篇讲的一般非线性迭代框架看起来是在“偏离凸优化”，但恰恰是这些迭代思想，为后面理解凸优化算法为什么能全局收敛提供了最直观的参照系。等到第 8 篇再回到凸问题上，你会发现很多在这一篇里不明朗的东西，在凸的假设下全都变得清晰透彻了。