马尔可夫链的收敛定理 基本概念回顾与问题引入 首先，我们回顾马尔可夫链的平稳分布。一个马尔可夫链如果存在一个概率分布 π，使得 π = πP（其中 P 是转移概率矩阵），那么 π 就被称为该马尔可夫链的平稳分布。平稳分布描述的是链在经过长时间演化后达到的一种稳定状态。 现在，我们引入一个核心问题：对于一个给定的马尔可夫链，无论它从哪个初始状态开始，随着步数 n 的增加，其状态分布是否会“收敛”到平稳分布 π？也就是说，当 n 趋于无穷大时，转移概率 Pⁿ 是否趋于一个极限矩阵，这个矩阵的每一行都是平稳分布 π？马尔可夫链的收敛定理正是回答这个问题的。 收敛的条件：不可约性与非周期性 并非所有具有平稳分布的马尔可夫链都会收敛。收敛需要满足两个关键条件： 不可约性 ：一个马尔可夫链是不可约的，如果从任何一个状态出发，经过有限步转移，都可以到达任何其他状态（即所有状态都是相通的）。这意味着链的状态空间是一个完整的整体，不会被分割成几个互不连通的部分。如果链是可约的，它可能会被困在某个子集中，而无法探索整个状态空间，从而无法收敛到一个唯一的稳定分布。 非周期性 ：周期性是马尔可夫链可能具有的一种循环行为。如果一个链具有周期 d > 1，那么从某个状态返回该状态的可能步数只能是 d 的倍数（如 2, 4, 6... 或 3, 6, 9...）。这种周期性的摆动会阻止分布本身（而不是平均值）的收敛。非周期性意味着链没有这种严格的周期循环，从任何状态返回该状态的步数最大公约数为 1。这保证了链的长期行为是平滑的，而不是振荡的。 收敛定理的表述 对于一个 不可约 、 非周期 、且具有平稳分布 π 的马尔可夫链（在状态空间有限或可数的情况下），以下收敛性成立： 状态分布的收敛 ：无论初始分布 μ⁽⁰⁾ 如何，当转移步数 n 趋于无穷大时，第 n 步的状态分布 μ⁽ⁿ⁾ 都会收敛到平稳分布 π。即 lim_ {n→∞} μ⁽ⁿ⁾ = π。 转移概率的收敛 ：对于任意初始状态 i 和任意状态 j，当 n 趋于无穷大时，n 步转移概率 Pⁿ(i, j) 收敛到平稳分布 π(j)。即 lim_ {n→∞} Pⁿ(i, j) = π(j)。 直观上，这意味着无论链从何处开始，经过足够长的时间后，我们发现它处于状态 j 的概率将无限接近 π(j)，而与起点无关。 定理的直观理解与意义 你可以将平稳分布 π 想象成一个“概率引力”的中心。不可约性确保了整个状态空间都在这个引力的影响范围内。非周期性则消除了轨道上的“共振”或“摆动”，使得路径能够平滑地趋近于中心。因此，经过大量步骤后，链的“记忆”会逐渐消失，其当前状态几乎完全由这个稳定的概率结构 π 所决定，而忘记了最初是从哪里开始的。这个定理是马尔可夫链蒙特卡洛方法（MCMC）的理论基石，它保证了通过模拟一个构造好的马尔可夫链，我们最终能够从目标分布（即平稳分布）中抽取样本。 一个简单的例子 考虑一个非常简单的两状态天气模型（晴/雨），其转移矩阵为 P = [ [ 0.7, 0.3], [ 0.4, 0.6]]。可以计算出其平稳分布为 π = [ 4/7, 3/7 ]。 这个链是不可约的（晴雨互通）且非周期的（例如，从晴到晴只需1步，概率为0.7>0）。 根据收敛定理，无论今天是晴天还是雨天，很多天之后，那天是晴天的概率都无限接近 4/7，是雨天的概率无限接近 3/7。计算 Pⁿ 当 n 很大时（如 n=20），你会发现矩阵的每一行都近似等于 [ 4/7, 3/7 ]。