非线性规划 基本概念与核心思想 非线性规划是数学规划的一个主要分支，它研究的是目标函数或约束条件中至少有一个是关于决策变量为非线性函数的优化问题。 其一般形式可写为： 最小化 f(x) 满足约束 g_i(x) ≤ 0, i = 1, 2, ..., m h_j(x) = 0, j = 1, 2, ..., p 其中， x = (x₁, x₂, ..., xₙ) 是决策变量向量，目标函数 f(x) ，不等式约束函数 g_i(x) 和等式约束函数 h_j(x) 中至少有一个是非线性的。 与线性规划的根本区别在于，非线性关系使得问题的可行域和目标函数的等值面（线）不再是简单的多面体和平面（直线），而可能是曲线、曲面或更复杂的几何形状。这使得最优解可能出现在可行域内部的任何一点，而不仅仅在顶点上，大大增加了问题的求解难度和丰富性。 无约束优化：理论与方法 这是非线性规划的基础。当问题没有约束条件时，我们寻找使 f(x) 取得最小值的点 x* 。 最优性条件 ： 一阶必要条件 ：如果 x* 是一个局部极小点，且函数 f 在该点可微，那么在该点的梯度必须为零向量，即 ∇f(x*) = 0 。满足此条件的点称为 驻点 （可能是极小点、极大点或鞍点）。 二阶充分条件 ：如果在一个驻点 x* 处，函数 f 的二阶导数矩阵（Hessian矩阵）是正定的，即 ∇²f(x*) > 0 ，那么 x* 是一个严格的局部极小点。 常用数值方法 ：由于解析求解 ∇f(x) = 0 通常很困难，我们使用迭代算法从一个初始猜测点 x₀ 出发，产生一个点列 {x_k} ，希望其收敛于局部极小点。 梯度下降法（最速下降法） ：在每一步，沿着当前点负梯度的方向进行搜索，因为这是函数值下降最快的方向。公式为： x_{k+1} = x_k - α_k ∇f(x_k) ，其中 α_k 是步长。 牛顿法 ：利用目标函数的二阶导数（Hessian矩阵）信息，不仅考虑下降方向，还考虑曲线的曲率，从而能更快地收敛。其迭代公式为： x_{k+1} = x_k - [∇²f(x_k)]⁻¹ ∇f(x_k) 。当初始点靠近最优解时，收敛速度非常快，但需要计算Hessian矩阵及其逆，计算量较大。 有约束优化：理论与方法 当问题包含约束条件时，情况变得复杂，因为最优解可能需要恰好满足某些约束（称为 积极约束 或 紧约束 ）。 最优性条件 - KKT条件 ：这是非线性规划领域最核心的理论成果之一，是拉格朗日乘子法在不等式约束下的推广。 对于一般形式的非线性规划问题，如果点 x* 是局部最优解，且满足一定的约束规格（如线性无关约束规格），则存在乘子向量 λ* = (λ₁*, ..., λₘ*) 和 ν* = (ν₁*, ..., ν_p*) ，使得以下KKT条件成立： 平稳性 ： ∇f(x*) + Σλ_i* ∇g_i(x*) + Σν_j* ∇h_j(x*) = 0 原始可行性 ： g_i(x*) ≤ 0 , h_j(x*) = 0 对偶可行性 ： λ_i* ≥ 0 互补松弛条件 ： λ_i* g_i(x*) = 0 KKT条件是有约束问题局部最优解的必要条件。当问题为凸规划时（即 f(x) 为凸函数， g_i(x) 为凸函数， h_j(x) 为线性函数），KKT条件也是充分条件。 常用数值方法 ： 序列无约束优化方法 ：将有约束问题转化为一系列无约束问题来求解。最典型的是 罚函数法 和 增广拉格朗日法 。罚函数法通过添加一个惩罚项来惩罚对约束的违反，将原问题转化为无约束问题。增广拉格朗日法则结合了罚函数和拉格朗日函数的优点，具有更好的数值稳定性。 序列二次规划 ：这是一种非常高效的方法，适用于中小规模的非线性规划问题。它在每一步迭代中，构造一个二次规划子问题（用二次函数近似目标函数，用线性函数近似约束函数），求解这个子问题得到下一步的搜索方向和步长。 凸优化：一类特殊的非线性规划 凸优化问题是指目标函数为凸函数，不等式约束函数为凸函数，等式约束函数为线性函数的非线性规划问题。 凸优化问题的关键性质在于，它的任何局部最优解同时就是全局最优解。并且，其理论分析相对成熟，存在大量高效、可靠的算法（如内点法）可以求解大规模凸优化问题。 许多实际工程问题（如信号处理、机器学习、电路设计）都可以被建模或近似为凸优化问题，因此凸优化是现代运筹学和应用数学中一个极其重要的分支。 应用领域 非线性规划的应用极其广泛，几乎遍及所有科学和工程领域。例如： 金融 ：投资组合优化（在给定风险下最大化收益，或反之）。 机器学习 ：训练支持向量机、神经网络等模型本质上就是一个非线性规划问题（如最小化损失函数）。 工程设计 ：在满足各种物理和几何约束下，最小化结构重量或成本。 电力系统 ：最优潮流问题，在满足电网运行约束下，最小化发电成本。