凸优化
字数 663 2025-10-29 11:32:39

凸优化

  1. 基本概念
    凸优化是数学规划的一个分支,研究目标函数为凸函数、约束集为凸集的优化问题。其核心特性是:局部最优解即全局最优解,这一性质使得问题在理论和计算上更易处理。
  • 凸集:集合中任意两点的连线仍包含于该集合(例如:直线、球体、多面体)。
  • 凸函数:函数图像上任意两点的连线位于图像上方,即满足 \(f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta)f(y)\)\(\theta \in [0,1]\))。
  1. 问题形式
    标准凸优化问题可表示为:

\[\min_{x} f(x) \quad \text{s.t.} \quad g_i(x) \leq 0, \ h_j(x) = 0, \]

其中 \(f(x)\)\(g_i(x)\) 为凸函数,\(h_j(x)\) 为仿射函数(线性函数加常数),约束条件构成的可行域是凸集。

  1. 重要性
    凸优化提供了系统的最优性理论(如KKT条件)和高效算法(如内点法、梯度下降法)。许多非凸问题可通过凸松弛转化为近似凸问题,广泛应用于机器学习、信号处理、金融等领域。

  2. 典型例子

  • 线性规划:目标函数与约束均为线性,是凸优化的特例。
  • 二次规划:若目标函数为凸二次函数,约束为线性,也属于凸优化。
  • 半定规划:涉及半正定矩阵约束,是凸优化的高级形式。
  1. 与非凸优化的区别
    非凸优化可能存在多个局部最优解,求解难度大;而凸优化的全局最优解可通过梯度信息或凸性理论直接定位,算法收敛性有保障。
凸优化 基本概念 凸优化是数学规划的一个分支,研究目标函数为凸函数、约束集为凸集的优化问题。其核心特性是:局部最优解即全局最优解,这一性质使得问题在理论和计算上更易处理。 凸集 :集合中任意两点的连线仍包含于该集合(例如:直线、球体、多面体)。 凸函数 :函数图像上任意两点的连线位于图像上方,即满足 \( f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta)f(y) \)(\( \theta \in [ 0,1 ] \))。 问题形式 标准凸优化问题可表示为: \[ \min_ {x} f(x) \quad \text{s.t.} \quad g_ i(x) \leq 0, \ h_ j(x) = 0, \] 其中 \( f(x) \) 和 \( g_ i(x) \) 为凸函数,\( h_ j(x) \) 为仿射函数(线性函数加常数),约束条件构成的可行域是凸集。 重要性 凸优化提供了系统的最优性理论(如KKT条件)和高效算法(如内点法、梯度下降法)。许多非凸问题可通过凸松弛转化为近似凸问题,广泛应用于机器学习、信号处理、金融等领域。 典型例子 线性规划 :目标函数与约束均为线性,是凸优化的特例。 二次规划 :若目标函数为凸二次函数,约束为线性,也属于凸优化。 半定规划 :涉及半正定矩阵约束,是凸优化的高级形式。 与非凸优化的区别 非凸优化可能存在多个局部最优解,求解难度大;而凸优化的全局最优解可通过梯度信息或凸性理论直接定位,算法收敛性有保障。