非线性共轭梯度法 非线性共轭梯度法是最优化领域中求解大规模无约束优化问题的重要迭代算法。让我们从基础概念开始，逐步深入理解这一方法。 问题背景与基本形式 我们考虑无约束优化问题：min f(x)，其中 f: Rⁿ → R 是连续可微的非线性函数。当变量维度n很大时，传统的牛顿法需要计算和存储Hessian矩阵，计算成本很高。共轭梯度法通过利用梯度信息构建共轭方向，避免了显式存储二阶信息。 线性共轭梯度法的回顾 对于二次函数 f(x) = ½xᵀAx - bᵀx，其中A对称正定，线性共轭梯度法通过迭代： x_ {k+1} = x_ k + α_ k p_ k p_ k = -∇f(x_ k) + β_ k p_ {k-1} 其中α_ k由精确线搜索确定，β_ k有多种计算公式（如Fletcher-Reeves、Polak-Ribière等）。 扩展到非线性问题 对于一般非线性函数，共轭梯度法的主要变化在于： 步长α_ k需要通过一维线搜索确定（如Wolfe条件） 共轭参数β_ k的计算公式需要适当选择 由于函数的非线性性，共轭性不能严格保持 关键组成部分：方向更新 搜索方向更新为：p_ k = -g_ k + β_ k p_ {k-1} 其中g_ k = ∇f(x_ k)。常用的β_ k计算公式包括： Fletcher-Reeves: β_ k^{FR} = (g_ kᵀg_ k)/(g_ {k-1}ᵀg_ {k-1}) Polak-Ribière: β_ k^{PR} = [ g_ kᵀ(g_ k - g_ {k-1})]/(g_ {k-1}ᵀg_ {k-1}) Hestenes-Stiefel: β_ k^{HS} = [ g_ kᵀ(g_ k - g_ {k-1})]/[ p_ {k-1}ᵀ(g_ k - g_ {k-1}) ] 步长选择策略 步长α_ k需要满足强Wolfe条件： f(x_ k + α_ k p_ k) ≤ f(x_ k) + c₁α_ k g_ kᵀp_ k |∇f(x_ k + α_ k p_ k)ᵀp_ k| ≤ c₂|g_ kᵀp_ k| 其中0 < c₁ < c₂ < 1，这确保了充分的函数值下降和方向的正交性。 重启机制 由于非线性导致共轭性逐渐丧失，算法需要定期重启（通常每n次迭代或当|g_ kᵀg_ {k-1}|较大时），即设置β_ k = 0，使搜索方向重置为最速下降方向。 收敛性分析 在标准假设下（f下有界、梯度Lipschitz连续），非线性共轭梯度法具有全局收敛性。PR和HS公式通常在实际表现上优于FR公式，但需要仔细的线搜索和重启策略。 实际应用考虑 在实际实现中，需要考虑： 预处理技术改善条件数 高效的线搜索算法 数值稳定性处理 大规模问题的内存效率 这种方法特别适用于大规模问题，因为只需要存储几个n维向量，计算复杂度主要来自函数值和梯度计算。