随机规划中的序贯决策与贝叶斯优化

1. 基本概念关联
   在随机规划中，序贯决策指决策者通过多次观察随机变量的实现值，逐步调整策略以优化目标。这一过程常面临目标函数未知或计算成本高的问题，而贝叶斯优化 通过构建概率代理模型（如高斯过程）和设计采集函数，实现对复杂目标函数的高效探索与利用。

2. 贝叶斯优化的核心组件

   • 代理模型：通常采用高斯过程，对待优化的目标函数建立先验分布，并随观测数据更新后验分布。
   • 采集函数：平衡探索（未观测区域）和利用（已知最优区域），常用方法包括期望改进、上置信界和概率改进。
   • 序贯更新机制：每轮根据采集函数最大值点进行实验，用新数据更新代理模型，迭代逼近全局最优解。

3. 与随机规划的融合逻辑
   在随机规划的序贯决策中，贝叶斯优化通过以下步骤降低随机性影响：

   • 将随机目标函数的期望值转化为代理模型的预测均值；
   • 利用采集函数主动选择评估点，减少对高成本随机模拟的依赖；
   • 通过自适应采样，优先探索对决策影响显著的不确定性区域。

4. 算法实现流程

   • 步骤1：初始化高斯过程先验，定义采集函数；
   • 步骤2：循环执行直至收敛：
     1. 优化采集函数确定下一个评估点；
     2. 在该点计算随机目标函数的样本估计；
     3. 用新数据更新高斯过程后验分布；
   • 步骤3：输出后验均值最优的决策变量。

5. 优势与适用场景

   • 适用于目标函数非凸、噪声显著或评估代价高的随机优化问题；
   • 通过主动学习减少所需实验次数，在库存控制、资源分配等场景中显著提升决策效率；
   • 对随机规划中的黑箱函数优化提供可证明的收敛性保证。