从Gauss-Seidel到共轭梯度：三种迭代法在Pascal矩阵求解中的实战对比
1. 数值计算中的迭代法选择困境
每次面对大型线性方程组求解问题时，我都会在笔记本上反复画着同一个问号：究竟该选择哪种迭代算法？这个问题困扰了我整整一个学期，直到在电子科大的数值分析课程中遇到了Pascal矩阵这个典型案例。20阶Pascal矩阵看似简单，却完美展现了不同迭代算法的特性差异。
Pascal矩阵是一种特殊的对称正定矩阵，其元素满足组合数的性质。这种矩阵在数值分析中非常有趣，因为它的条件数会随着阶数增加而快速增长。我清楚地记得第一次用直接法求解20阶Pascal矩阵时的场景——虽然得到了精确解，但计算量让人望而生畏。这促使我开始探索更高效的迭代解法。
在实际工程计算中，我们常常会遇到类似Pascal矩阵这样的中型稠密矩阵。比如在金融衍生品定价时，某些偏微分方程离散化后就会形成类似结构。这类问题规模说大不大，说小不小：直接法虽然精确但效率低，迭代法则需要谨慎选择才能保证收敛。这就是为什么Gauss-Seidel、最速下降法和共轭梯度法的对比如此重要。
2. Gauss-Seidel方法的实践与陷阱
2.1 算法实现的关键细节
Gauss-Seidel方法给我的第一印象是"优雅的暴力"。说它暴力，是因为它直接通过分量迭代硬解方程；说它优雅，是因为它巧妙地利用了最新计算值。在实现时，我特别注意到了几个容易踩坑的细节：
首先是迭代矩阵的计算。很多教程只给出G=-(D+L)^(-1)U这个公式，但实际编码时需要特别注意矩阵分解的准确性。我记得第一次实现时，因为没处理好严格上三角和下三角的划分，导致迭代根本不收敛。
其次是收敛性判断。对于20阶Pascal矩阵，我们需要先计算迭代矩阵的谱半径。这里有个实用技巧：在Python中可以使用np.linalg.eig()计算特征值，但要注意取绝对值：
python复制eigenvalues, _ = np.linalg.eig(G)
spectral_radius = np.max(np.abs(eigenvalues))
2.2 Pascal矩阵的特殊挑战
在Pascal矩阵上的测试结果让我大吃一惊——理论上应该收敛的Gauss-Seidel迭代竟然发散！经过反复检查才发现，对于20阶Pascal矩阵，其迭代矩阵的谱半径大于1。这引出了一个重要认知：不是所有对称正定矩阵都适合Gauss-Seidel方法。
通过更深入的实验，我发现当Pascal矩阵阶数超过15时，Gauss-Seidel的收敛性就开始变差。这与其条件数的快速增长密切相关。一个实用的应对策略是引入松弛因子，将经典Gauss-Seidel改进为SOR方法。不过这就引出了另一个问题：如何选择最优松弛因子？
3. 最速下降法的直观与局限
3.1 梯度下降的朴素之美
最速下降法给我的感觉就像是在迷雾中下山——虽然看不见全局，但每一步都沿着当前最陡的方向前进。实现起来比Gauss-Seidel更简单，核心就是残差向量的计算和步长的确定：
python复制residual = b - np.dot(A, x)
alpha = np.dot(residual.T, residual) / np.dot(residual.T, np.dot(A, residual))
x = x + alpha * residual
在Pascal矩阵上的表现很有意思：前几十次迭代收敛很快，但随后就陷入"之字形"徘徊。这与理论预测完全一致——最速下降法在条件数大的矩阵上会出现著名的"锯齿现象"。
3.2 条件数的影响实测
为了更直观理解，我记录了每步迭代的目标函数值f(x)=x^TAx-2b^Tx。对于20阶Pascal矩阵，其条件数高达1e10量级，这导致函数等高线非常扁长。实验数据显示，迭代点确实在长轴方向来回振荡。
一个实用的改进是引入重启机制：每k次迭代后重置搜索方向为当前残差。虽然不能根本解决问题，但在实际应用中能获得更好的收敛表现。不过对于Pascal矩阵这种极端例子，最速下降法终究不是最佳选择。
4. 共轭梯度法的惊艳表现
4.1 算法原理的几何解释
共轭梯度法(CG)第一次让我感受到数值计算的精妙。与最速下降法不同，CG通过构造共轭方向避免了重复搜索。想象你在椭球形的山谷中下山，CG保证每个方向只走一次，n步内必达最低点。
实现时的关键点是共轭方向的更新：
python复制beta = -np.dot(residual.T, np.dot(A, direction)) / np.dot(direction.T, np.dot(A, direction))
direction = residual + beta * direction
对于20阶Pascal矩阵，CG在理论上应该20步内收敛。实际测试中，由于浮点误差，通常需要21-23步达到1e-6精度，这已经远优于前两种方法。
4.2 预处理技术的威力
为了进一步提升CG的性能，我尝试了简单的Jacobi预处理：用对角矩阵D^(-1/2)对系统进行缩放。预处理后的Pascal矩阵条件数显著降低，CG收敛步数减少到12-15步。这引出了数值计算中的一个重要原则：好的算法加上好的预处理，往往能产生1+1>2的效果。
特别值得注意的是，虽然Pascal矩阵是稠密的，但CG法的内存需求仅为O(n)，这对更大规模的问题尤为重要。在我的实验中，CG法是三种方法中唯一能稳定求解30阶以上Pascal矩阵的算法。
5. 三种方法的量化对比
5.1 收敛速度实测数据
为了客观比较，我固定收敛容差为1e-6，记录各方法在20阶Pascal矩阵上的表现：
| 方法 | 迭代次数 | 计算时间(ms) | 最终误差 |
|---|---|---|---|
| Gauss-Seidel | 不收敛 | - | - |
| 最速下降法 | 1e5 | 1250 | 9.8e-7 |
| 共轭梯度法 | 22 | 5.2 | 3.2e-7 |
数据清晰地展示了CG法的优势。最令人惊讶的是Gauss-Seidel的不收敛，这提醒我们理论收敛条件在实际中的重要性。
5.2 算法选择的实用建议
基于这些实验，我总结出几条实用建议：
- 对于中小型稠密矩阵，先检查Gauss-Seidel的收敛性
- 最速下降法适合作为基准实现，但要有性能不佳的心理准备
- 共轭梯度法应作为对称正定系统的首选，特别是配合适当的预处理时
- 条件数是预测迭代性能的重要指标，计算成本往往值得
在后续的金融工程项目中，这些经验帮助我快速选择了合适的求解策略。比如在某个期权定价问题中，离散化后的矩阵与Pascal矩阵有相似特性，直接采用预处理CG法节省了大量计算时间。