非线性规划中的信赖域方法 让我从基础概念开始为您详细讲解这个重要的数值优化方法。 基本思想与直觉理解 信赖域方法的核心思想是：在每次迭代时，在当前点x_ k周围定义一个"可信赖"的区域（即信赖域），在这个区域内用一个简单的模型（通常是二次模型）来近似原始复杂的目标函数。然后在这个区域内求解简化模型的极小值点，作为下一步的候选点。 数学模型构建 考虑无约束非线性规划问题：min f(x)，其中f: R^n → R是二次连续可微函数。 在点x_ k处的二次近似模型为： m_ k(p) = f(x_ k) + ∇f(x_ k)^T p + 1/2 p^T B_ k p 其中p是步长，B_ k是Hessian矩阵∇²f(x_ k)或其近似。 信赖域子问题为： min m_ k(p) s.t. ||p|| ≤ Δ_ k 其中Δ_ k > 0是当前信赖域半径。 关键组件详解 3.1 信赖域半径调整策略 信赖域半径Δ_ k的动态调整是方法的核心。定义实际下降量： Δf_ k = f(x_ k) - f(x_ k + p_ k) 和预测下降量： Δm_ k = m_ k(0) - m_ k(p_ k) 比值ρ_ k = Δf_ k / Δm_ k 衡量模型近似质量： ρ_ k接近1：模型拟合良好，可增大信赖域 ρ_ k为正但较小：模型一般，保持信赖域 ρ_ k为负或接近0：模型较差，需缩小信赖域 3.2 子问题求解算法 信赖域子问题是带范数约束的二次规划。常用求解方法包括： 狗腿法(Dogleg)：在最速下降方向和牛顿方向间折衷 二维子空间最小化：在二维子空间内精确求解 精确解计算：通过求解信赖域边界上的方程得到 完整算法流程 步骤1：初始化x_ 0, Δ_ 0 > 0, 参数0 < η_ 1 ≤ η_ 2 < 1, 0 < γ_ 1 ≤ γ_ 2 < 1 步骤2：对于k=0,1,2,...直到收敛 a. 求解信赖域子问题得p_ k b. 计算比值ρ_ k = Δf_ k / Δm_ k c. 更新迭代点： 如果ρ_ k > η_ 1：x_ {k+1} = x_ k + p_ k 否则：x_ {k+1} = x_ k d. 调整信赖域半径： 如果ρ_ k > η_ 2：Δ_ {k+1} = γ_ 2 Δ_ k 如果η_ 1 ≤ ρ_ k ≤ η_ 2：Δ_ {k+1} = Δ_ k 如果ρ_ k < η_ 1：Δ_ {k+1} = γ_ 1 Δ_ k 收敛性分析 在适当条件下，信赖域方法具有全局收敛性： 如果B_ k一致有界，则lim inf ||∇f(x_ k)|| = 0 如果Hessian矩阵 Lipschitz连续且B_ k逼近∇²f(x_ k)，则收敛速度是超线性的 实际应用考虑 初始半径选择：通常基于函数变化幅度或梯度信息 参数设置：典型值为η_ 1=0.25, η_ 2=0.75, γ_ 1=0.5, γ_ 2=2 与线搜索方法对比：信赖域方法在处理病态问题时通常更稳定 扩展变体 自适应信赖域：根据函数曲率自适应调整半径 非精确求解：子问题只需满足一定下降条件，不必精确求解 结构化问题：针对特殊问题结构设计的高效变体 这种方法在训练神经网络、工程优化等领域有广泛应用，特别适合处理高度非线性和病态问题。