基于代理模型的优化
字数 1996 2025-12-02 14:18:36

基于代理模型的优化

基于代理模型的优化是一种用于处理计算昂贵或复杂黑箱函数的优化方法。当目标函数或约束函数的每次评估都需要大量计算资源（如复杂的数值模拟或物理实验）时，直接应用传统的优化算法（如梯度下降法）会变得不切实际。该方法的核心思想是：构建一个计算成本低廉的、近似原复杂函数的“代理模型”，然后利用这个代理模型来指导优化搜索，从而用尽可能少的真实函数评估次数找到最优解。

第一步：理解核心问题与基本概念

  1. 昂贵函数问题：在许多工程和科学领域（如飞机机翼设计、芯片仿真），目标函数 \(f(x)\) 的计算可能依赖于一次耗时数小时甚至数天的计算机模拟。对其进行成百上千次的评估是不可行的。
  2. 黑箱函数：我们可能只知道给定输入 \(x\) 后，能得到输出 \(f(x)\)，但并不清楚函数 \(f\) 的内部解析形式，因此无法直接求取其梯度或Hessian矩阵。
  3. 代理模型：也称为元模型、响应面模型或近似模型。它是一个简单的、计算快速的数学模型，用来近似复杂的真实函数。其目标是捕获真实函数的主要趋势，而不是每一个细节。常见的代理模型包括多项式响应面、径向基函数、克里金法和神经网络等。

第二步：构建代理模型的一般流程

构建一个有效的代理模型通常遵循以下步骤：

  1. 实验设计：这是第一步，目的是在变量的设计空间（即 \(x\) 的取值范围）内，智能地选择一组初始样本点 \(\{x_1, x_2, ..., x_n\}\)。目标是用尽可能少的点，尽可能好地探索整个空间。常见方法有拉丁超立方采样、全因子设计等，它们能避免点簇拥在某一区域，确保空间填充性。
  2. 运行昂贵模型：在步骤1选出的每个样本点 \(x_i\) 上，运行一次昂贵的仿真或实验，得到对应的真实函数值 \(y_i = f(x_i)\)。
  3. 模型选择与拟合：根据已获得的数据点 \((x_i, y_i)\)，选择一个合适的代理模型形式（如选择使用克里金模型），然后通过数学方法（如最大似然估计、最小二乘法）确定该模型的参数，使其能最好地拟合已有的数据点。此时，我们得到了一个初步的代理模型 \(\hat{f}(x)\)。

第三步：基于代理模型的优化迭代过程

仅仅构建一个初始代理模型是不够的，关键在于如何利用它来高效地找到最优解。这是一个迭代的“学习”过程：

  1. 在代理模型上寻优：在当前构建的代理模型 \(\hat{f}(x)\) 上，使用某种快速的优化算法寻找一个或多个“有潜力”的候选点。这里的策略不是简单地找 \(\hat{f}(x)\) 的最小值点，因为模型可能存在误差。
  2. 定义采样准则：为了平衡“利用”（在模型预测值小的区域搜索）和“探索”（在模型不确定性大的区域搜索），需要定义一个采样准则（或称填充函数）。最著名的是期望改进准则：
  • 改进量：对于一个候选点 \(x\)，其改进量定义为 \(I(x) = \max(0, f_{min} - Y(x))\)。其中 \(f_{min}\) 是当前已有点中的最佳真实函数值，\(Y(x)\) 是点 \(x\) 处的真实函数值（未知）。
  • 期望改进：由于 \(Y(x)\) 未知，如果代理模型（如克里金法）能提供预测值 \(\hat{f}(x)\) 和预测标准差 \(s(x)\)，则可以将 \(Y(x)\) 视为随机变量。EI准则计算的是改进量 \(I(x)\) 的期望值 \(E[I(x)]\)。最大化EI的点，既可能在预测值低的地方（ exploitation ），也可能在预测不确定性高的地方（ exploration ）。
  1. 评估昂贵模型与更新：在由采样准则选出的新点 \(x_{new}\) 上，运行一次昂贵的真实模型，得到 \(f(x_{new})\)。
  • 如果 \(f(x_{new})\) 确实优于当前最优值，则更新最优解。
  • 将新数据点 \((x_{new}, f(x_{new}))\) 加入训练集。
    • 用扩增后的训练集重新拟合（更新）代理模型，使其在新点附近更精确。
  1. 收敛判断：重复步骤1-3，直到满足停止条件，例如：函数评估次数达到预算、连续多次迭代改进量很小、或代理模型的不确定性已降到很低水平。

第四步：方法特点与总结

基于代理模型的优化是一种元启发式框架，其效率高度依赖于代理模型的精度和采样准则的有效性。

  • 优点：能显著减少对昂贵函数的调用次数，适用于物理实验和复杂仿真等场景。
  • 关键：它巧妙地通过廉价的代理模型“猜测”最优解可能的位置，然后有选择地用昂贵模型去“验证”和“学习”，实现了计算资源的最优分配。
  • 代表性算法：高效全局优化（EGO）算法就是基于克里金模型和EI准则的经典实现。
基于代理模型的优化 基于代理模型的优化是一种用于处理计算昂贵或复杂黑箱函数的优化方法。当目标函数或约束函数的每次评估都需要大量计算资源（如复杂的数值模拟或物理实验）时，直接应用传统的优化算法（如梯度下降法）会变得不切实际。该方法的核心思想是：构建一个计算成本低廉的、近似原复杂函数的“代理模型”，然后利用这个代理模型来指导优化搜索，从而用尽可能少的真实函数评估次数找到最优解。 第一步：理解核心问题与基本概念 昂贵函数问题 ：在许多工程和科学领域（如飞机机翼设计、芯片仿真），目标函数 \( f(x) \) 的计算可能依赖于一次耗时数小时甚至数天的计算机模拟。对其进行成百上千次的评估是不可行的。 黑箱函数 ：我们可能只知道给定输入 \( x \) 后，能得到输出 \( f(x) \)，但并不清楚函数 \( f \) 的内部解析形式，因此无法直接求取其梯度或Hessian矩阵。 代理模型 ：也称为元模型、响应面模型或近似模型。它是一个简单的、计算快速的数学模型，用来近似复杂的真实函数。其目标是捕获真实函数的主要趋势，而不是每一个细节。常见的代理模型包括多项式响应面、径向基函数、克里金法和神经网络等。 第二步：构建代理模型的一般流程 构建一个有效的代理模型通常遵循以下步骤： 实验设计 ：这是第一步，目的是在变量的设计空间（即 \( x \) 的取值范围）内，智能地选择一组初始样本点 \( \{x_ 1, x_ 2, ..., x_ n\} \)。目标是用尽可能少的点，尽可能好地探索整个空间。常见方法有拉丁超立方采样、全因子设计等，它们能避免点簇拥在某一区域，确保空间填充性。 运行昂贵模型 ：在步骤1选出的每个样本点 \( x_ i \) 上，运行一次昂贵的仿真或实验，得到对应的真实函数值 \( y_ i = f(x_ i) \)。 模型选择与拟合 ：根据已获得的数据点 \( (x_ i, y_ i) \)，选择一个合适的代理模型形式（如选择使用克里金模型），然后通过数学方法（如最大似然估计、最小二乘法）确定该模型的参数，使其能最好地拟合已有的数据点。此时，我们得到了一个初步的代理模型 \( \hat{f}(x) \)。 第三步：基于代理模型的优化迭代过程 仅仅构建一个初始代理模型是不够的，关键在于如何利用它来高效地找到最优解。这是一个迭代的“学习”过程： 在代理模型上寻优 ：在当前构建的代理模型 \( \hat{f}(x) \) 上，使用某种快速的优化算法寻找一个或多个“有潜力”的候选点。这里的策略不是简单地找 \( \hat{f}(x) \) 的最小值点，因为模型可能存在误差。 定义采样准则 ：为了平衡“利用”（在模型预测值小的区域搜索）和“探索”（在模型不确定性大的区域搜索），需要定义一个采样准则（或称填充函数）。最著名的是 期望改进 准则： 改进量 ：对于一个候选点 \( x \)，其改进量定义为 \( I(x) = \max(0, f_ {min} - Y(x)) \)。其中 \( f_ {min} \) 是当前已有点中的最佳真实函数值，\( Y(x) \) 是点 \( x \) 处的真实函数值（未知）。 期望改进 ：由于 \( Y(x) \) 未知，如果代理模型（如克里金法）能提供预测值 \( \hat{f}(x) \) 和预测标准差 \( s(x) \)，则可以将 \( Y(x) \) 视为随机变量。EI准则计算的是改进量 \( I(x) \) 的期望值 \( E[ I(x) ] \)。最大化EI的点，既可能在预测值低的地方（ exploitation ），也可能在预测不确定性高的地方（ exploration ）。 评估昂贵模型与更新 ：在由采样准则选出的新点 \( x_ {new} \) 上，运行一次昂贵的真实模型，得到 \( f(x_ {new}) \)。 如果 \( f(x_ {new}) \) 确实优于当前最优值，则更新最优解。 将新数据点 \( (x_ {new}, f(x_ {new})) \) 加入训练集。 用扩增后的训练集重新拟合（更新）代理模型，使其在新点附近更精确。 收敛判断 ：重复步骤1-3，直到满足停止条件，例如：函数评估次数达到预算、连续多次迭代改进量很小、或代理模型的不确定性已降到很低水平。 第四步：方法特点与总结 基于代理模型的优化是一种元启发式框架，其效率高度依赖于代理模型的精度和采样准则的有效性。 优点 ：能显著减少对昂贵函数的调用次数，适用于物理实验和复杂仿真等场景。 关键 ：它巧妙地通过廉价的代理模型“猜测”最优解可能的位置，然后有选择地用昂贵模型去“验证”和“学习”，实现了计算资源的最优分配。 代表性算法 ：高效全局优化（EGO）算法就是基于克里金模型和EI准则的经典实现。