马尔可夫链蒙特卡洛方法 马尔可夫链蒙特卡洛方法是一种结合蒙特卡洛随机抽样与马尔可夫链特性的数值计算技术，主要用于从复杂概率分布中生成样本。下面逐步展开说明： 核心问题背景 当概率分布的形式复杂（如高维、非标准形式）时，直接抽样往往不可行。例如，贝叶斯统计中的后验分布可能无法解析计算，但需要估计其期望或分位数。MCMC通过构造一个马尔可夫链，使其平稳分布等于目标分布，从而间接生成样本。 关键思想：马尔可夫链与平稳分布 马尔可夫链具有“无记忆性”，下一状态仅依赖当前状态。 若链满足一定条件（如不可约、非周期），则长期运行后会收敛到唯一的平稳分布。 MCMC的目标是设计转移规则，使得平稳分布恰好是待抽样的目标分布 \( \pi(x) \)。 基本步骤：Metropolis-Hastings算法 这是最经典的MCMC实现方法，具体流程如下： 步骤1 ：初始化起点 \( x_ 0 \)，并设定提议分布 \( q(x' \mid x) \)（如正态分布，用于生成候选值）。 步骤2 ：对于每次迭代 \( t \)： 从 \( q(x' \mid x_ t) \) 中抽取候选点 \( x' \)。 计算接受概率 \( \alpha = \min\left(1, \frac{\pi(x')q(x_ t \mid x')}{\pi(x_ t)q(x' \mid x_ t)}\right) \)。 以概率 \( \alpha \) 接受 \( x' \)（即 \( x_ {t+1} = x' \)），否则保留原值（ \( x_ {t+1} = x_ t \)）。 步骤3 ：重复步骤2，生成序列 \( \{x_ 0, x_ 1, \dots, x_ n\} \)。 收敛性与样本使用 初始部分可能受起点影响（称为“预烧期”），需丢弃早期样本。 剩余样本虽非独立，但依分布收敛于 \( \pi(x) \)，可用于计算统计量（如均值 \( \frac{1}{n}\sum f(x_ i) \)）。 实际应用与变体 吉布斯抽样 ：适用于多维分布，每次仅更新一个变量，条件分布已知时更高效。 MCMC广泛用于贝叶斯模型、统计物理、机器学习等领域，例如估计复杂模型的参数后验分布。 通过这种链式抽样，MCMC将难以直接处理的计算问题转化为可通过迭代解决的动态过程。