迭代法 基本概念：从“猜”答案说起 想象一下，你需要解一个方程，比如 x³ - x - 1 = 0。你很难直接找到一个精确的解。迭代法的核心思想是：我们先“猜”一个近似的答案（称为初始近似值），然后通过一个固定的、可以重复执行的步骤（称为迭代格式），用这个近似值去计算出一个新的、更精确的近似值。接着，再用这个新值去计算下一个，如此反复，就像一步一步地逼近最终目标。 核心要素：如何“猜”得更好 一个迭代方法包含三个关键部分： 迭代格式： 这是最核心的规则。它将我们要解的方程 f(x) = 0 改写成一个等价的、便于计算的形式：x = g(x)。例如，将 x³ - x - 1 = 0 改写为 x = ³√(x + 1)。这个 g(x) 就是我们的迭代函数。 初始近似值 x₀： 我们开始“猜”的那个值。一个好的初始值能让我们更快地接近真实解。 迭代过程： 从 x₀ 开始，反复执行 x₁ = g(x₀), x₂ = g(x₁), x₃ = g(x₂), ... 这个序列 {x₀, x₁, x₂, ...} 就是我们的近似解序列。 收敛性：方法是否有效？ 我们最关心的问题是：这样一步一步算下去，得到的结果会越来越接近真实的答案吗？这就是收敛性。 收敛： 如果迭代序列 {x_ k} 的极限存在，并且正好是方程 x = g(x) 的解（称为不动点），我们就说该迭代法收敛。 收敛条件： 一个常用的充分条件是，如果迭代函数 g(x) 在解附近的区间内满足 Lipschitz 条件，且 Lipschitz 常数 L < 1，那么迭代法必定收敛。直观理解就是，函数 g(x) 在解附近不能“变化太快”，它必须是一个“收缩”的映射，才能把近似值一步步拉向真实解。 经典算法举例：牛顿迭代法 在求解方程 f(x) = 0 时，牛顿法是最著名、最强大的迭代法之一。它的思想来源于泰勒展开。 几何解释： 在当前的近似点 x_ k 处，我们作函数 f(x) 的切线。这条切线与 x 轴的交点 x_ {k+1}，通常会比 x_ k 更接近方程的真实根。 迭代格式： 根据几何意义推导出的公式是：x_ {k+1} = x_ k - f(x_ k) / f'(x_ k)。这个公式就是牛顿法的迭代格式。它要求函数 f(x) 可导，且导数不能为0。 收敛速度： 牛顿法的一个巨大优势是它的收敛速度是“平方收敛”的。这意味着每迭代一次，近似值的有效数字位数大约会翻倍。这使得它通常比简单的线性收敛方法（如二分法）快得多。 实际应用与扩展 迭代法绝非仅限于解一元方程。 线性方程组： 对于大型稀疏线性方程组（比如来自 偏微分方程数值解 的离散化），直接解法（如高斯消元法）计算量巨大。迭代法，如雅可比迭代法、高斯-赛德尔迭代法和共轭梯度法，是解决这类问题的首选，因为它们能高效利用矩阵的稀疏性。 特征值问题： 幂迭代法和QR算法等都是通过迭代来求解矩阵主特征值和所有特征值的标准方法。 优化问题： 在机器学习等领域，梯度下降法就是一种迭代法，用于寻找损失函数的最小值点。 总结来说，迭代法是一种通过重复改进近似解来逼近问题精确解的基础而强大的计算数学工具，其核心在于设计收敛的迭代格式并分析其效率。