马尔可夫链的次可加性
字数 2301 2025-12-14 13:00:48

马尔可夫链的次可加性

我们来学习马尔可夫链理论中的一个深刻概念——次可加性。它通过一种看似“整体不大于部分之和”的性质，帮助我们分析某些随机过程（如马尔可夫链）的长期平均行为，特别是在研究遍历极限和自由能等问题时非常关键。

  1. 次可加序列的基本概念
    首先，我们脱离随机过程，理解纯粹的“次可加性”。一个实数序列 {a_n}, n ≥ 1，如果满足对任意正整数 m 和 n，都有：
    a_{m+n} ≤ a_m + a_n
    则称这个序列是次可加的。直观上，将时间 m+n 上的量，拆分成前 m 段时间和后 n 段时间的量之和，前者不会小于后者之和。这听起来像是一种“效率”或“成本”的性质：合并操作可能因为规模效应而更“经济”，所以总成本不大于分步成本之和。一个关键定理是Fekete引理：对于任何次可加序列，极限 lim_{n→∞} (a_n / n) 存在（可能为 -∞），且等于 inf_{n≥1} (a_n / n)。这个引理保证了长期平均率的存在性。

  2. 随机过程中的次可加性
    现在我们将这个概念随机化。设有一个随机过程 {X_n}, n ≥ 0。如果对于任意非负整数 m, n，满足某种“结合性”条件（通常是某种马尔可夫性或平稳增量性），并且存在一个随机变量序列 {Y_{m,n}} 或函数 f，使得对于 m ≤ n，定义在状态空间上的某个量（如对数概率、成本、距离）满足：
    f(X_m, X_n) ≤ f(X_m, X_k) + f(X_k, X_n)， 对任意 m ≤ k ≤ n。
    或者更常见的是，存在一个随机过程 {S_n}，使得 S_0 = 0，且 S_{m+n} ≤ S_m + S_n ∘ θ^m，其中 θ 是位移算子（将过程在时间 m 后的部分视为一个新的独立副本）。这被称为次可加过程。关键点在于，这种不等式在几乎必然的意义上或以期望的形式成立。次可加遍历定理指出，在一定的可积条件下，极限 lim_{n→∞} S_n / n 几乎必然存在。

  3. 马尔可夫链中的次可加性应用（遍历极限）
    次可加性在分析马尔可夫链的某些遍历极限时非常有用。考虑一个在状态空间 E 上、具有转移核 P 的马尔可夫链 {Z_n}。我们感兴趣的可能不是链本身，而是由链驱动的一个累积量。例如，设有一个“报酬”函数 g: E → ℝ，定义部分和 S_n = Σ_{k=0}^{n-1} g(Z_k)。一般情况下，S_n 本身可能不满足次可加性。但是，如果我们考虑的是 遍历性 或 大偏差速率函数 的相关量，次可加性结构就会出现。
    一个典型的场景是研究 对数矩生成函数。定义 Λ_n(θ) = log E[exp(θ S_n) | Z_0 = x]。利用马尔可夫性和指数函数的性质，我们常常可以证明序列 {Λ_n(θ)} 满足次可加性：Λ_{m+n}(θ) ≤ Λ_m(θ) + Λ_n(θ)。根据Fekete引理，极限 Λ(θ) = lim_{n→∞} (1/n) Λ_n(θ) 存在，这个极限函数 Λ(θ) 正是大偏差原理中的缩放累积量生成函数，是分析 S_n/n 大偏差行为的核心。

  4. 次可加性与马尔可夫链的自由能
    在统计物理和随机环境的马尔可夫链中，自由能 是一个核心概念。考虑一个在随机环境中演化的马尔可夫链，其转移概率依赖于一个随机场。定义配分函数 Z_n = E[exp(Σ_{k=0}^{n-1} V(Z_k)) | Z_0 = x]，其中 V 是势函数。对数配分函数 F_n = log Z_n 在适当的条件下（如环境的遍历性和马尔可夫性）会形成一个次可加序列或超可加序列。应用次可加性理论可以证明，极限 F = lim_{n→∞} (1/n) F_n 几乎必然存在，且是一个常数（不依赖于初始状态和环境的特定实现）。这个极限 F 被称为自由能，它刻画了系统的平均能量与熵之间的平衡，是连接概率论与统计物理的重要桥梁。

  5. 次可加性的更一般形式与Kingman次可加遍历定理
    为了处理更一般的随机场景，John Kingman 提出了强大的次可加遍历定理。考虑一个定义在概率空间上的二维随机变量族 {X_{m, n}}，满足 0 ≤ m < n。假设它满足：
    a) 次可加性： X_{0, n} ≤ X_{0, m} + X_{m, n}， 对任意 0 < m < n。
    b) 平稳性： 联合分布 {X_{m+1, n+1}} 与 {X_{m, n}} 相同。
    c) 可积性： E[X_{0,1}^+] < ∞ （正部期望有限）。
    那么，Kingman 定理断言：极限 lim_{n→∞} X_{0, n} / n 几乎必然存在，并且等于一个常数（可能是 -∞）。此外，lim_{n→∞} E[X_{0, n}] / n 也存在并等于同一个常数。这个定理为处理马尔可夫链驱动的次可加过程（如前面提到的对数配分函数过程）提供了直接而坚实的理论基础，无需假设过程的马尔可夫性，只需平稳性和次可加性即可。

总结来说，马尔可夫链的次可加性 是一套通过“整体不大于部分和”这一不等式结构，来研究马尔可夫过程长期累积效应（如平均报酬、自由能、大偏差速率函数）的极限行为的理论框架。它将确定性的Fekete引理推广到随机环境，并通过Kingman定理等形式，成为分析复杂随机系统渐近性质的有力工具。

马尔可夫链的次可加性 我们来学习马尔可夫链理论中的一个深刻概念——次可加性。它通过一种看似“整体不大于部分之和”的性质，帮助我们分析某些随机过程（如马尔可夫链）的长期平均行为，特别是在研究遍历极限和自由能等问题时非常关键。 次可加序列的基本概念 首先，我们脱离随机过程，理解纯粹的“次可加性”。一个实数序列 \{a_ n\}, n ≥ 1，如果满足对任意正整数 m 和 n，都有： a_{m+n} ≤ a_m + a_n 则称这个序列是 次可加的 。直观上，将时间 m+n 上的量，拆分成前 m 段时间和后 n 段时间的量之和，前者不会小于后者之和。这听起来像是一种“效率”或“成本”的性质：合并操作可能因为规模效应而更“经济”，所以总成本不大于分步成本之和。一个关键定理是 Fekete引理 ：对于任何次可加序列，极限 lim_ {n→∞} (a_ n / n) 存在（可能为 -∞），且等于 inf_ {n≥1} (a_ n / n)。这个引理保证了长期平均率的存在性。 随机过程中的次可加性 现在我们将这个概念随机化。设有一个随机过程 \{X_ n\}, n ≥ 0。如果对于任意非负整数 m, n，满足某种“结合性”条件（通常是某种马尔可夫性或平稳增量性），并且存在一个随机变量序列 \{Y_ {m,n}\} 或函数 f，使得对于 m ≤ n，定义在状态空间上的某个量（如对数概率、成本、距离）满足： f(X_m, X_n) ≤ f(X_m, X_k) + f(X_k, X_n) ， 对任意 m ≤ k ≤ n。 或者更常见的是，存在一个随机过程 \{S_ n\}，使得 S_ 0 = 0，且 S_ {m+n} ≤ S_ m + S_ n ∘ θ^m，其中 θ 是位移算子（将过程在时间 m 后的部分视为一个新的独立副本）。这被称为 次可加过程 。关键点在于，这种不等式在几乎必然的意义上或以期望的形式成立。次可加遍历定理指出，在一定的可积条件下，极限 lim_ {n→∞} S_ n / n 几乎必然存在。 马尔可夫链中的次可加性应用（遍历极限） 次可加性在分析马尔可夫链的某些遍历极限时非常有用。考虑一个在状态空间 E 上、具有转移核 P 的马尔可夫链 \{Z_ n\}。我们感兴趣的可能不是链本身，而是由链驱动的一个累积量。例如，设有一个“报酬”函数 g: E → ℝ，定义部分和 S_ n = Σ_ {k=0}^{n-1} g(Z_ k)。一般情况下，S_ n 本身可能不满足次可加性。但是，如果我们考虑的是 遍历性 或 大偏差速率函数 的相关量，次可加性结构就会出现。 一个典型的场景是研究 对数矩生成函数 。定义 Λ_ n(θ) = log E[ exp(θ S_ n) | Z_ 0 = x]。利用马尔可夫性和指数函数的性质，我们常常可以证明序列 \{Λ_ n(θ)\} 满足次可加性：Λ_ {m+n}(θ) ≤ Λ_ m(θ) + Λ_ n(θ)。根据Fekete引理，极限 Λ(θ) = lim_ {n→∞} (1/n) Λ_ n(θ) 存在，这个极限函数 Λ(θ) 正是大偏差原理中的 缩放累积量生成函数 ，是分析 S_ n/n 大偏差行为的核心。 次可加性与马尔可夫链的自由能 在统计物理和随机环境的马尔可夫链中， 自由能 是一个核心概念。考虑一个在随机环境中演化的马尔可夫链，其转移概率依赖于一个随机场。定义配分函数 Z_ n = E[ exp(Σ_ {k=0}^{n-1} V(Z_ k)) | Z_ 0 = x]，其中 V 是势函数。对数配分函数 F_ n = log Z_ n 在适当的条件下（如环境的遍历性和马尔可夫性）会形成一个次可加序列或超可加序列。应用次可加性理论可以证明，极限 F = lim_ {n→∞} (1/n) F_ n 几乎必然存在，且是一个常数（不依赖于初始状态和环境的特定实现）。这个极限 F 被称为 自由能 ，它刻画了系统的平均能量与熵之间的平衡，是连接概率论与统计物理的重要桥梁。 次可加性的更一般形式与Kingman次可加遍历定理 为了处理更一般的随机场景，John Kingman 提出了强大的 次可加遍历定理 。考虑一个定义在概率空间上的二维随机变量族 \{X_ {m, n}\}，满足 0 ≤ m < n。假设它满足： a) 次可加性 ： X_ {0, n} ≤ X_ {0, m} + X_ {m, n}， 对任意 0 < m < n。 b) 平稳性 ： 联合分布 \{X_ {m+1, n+1}\} 与 \{X_ {m, n}\} 相同。 c) 可积性 ： E[ X_ {0,1}^+] < ∞ （正部期望有限）。 那么，Kingman 定理断言：极限 lim_ {n→∞} X_ {0, n} / n 几乎必然存在，并且等于一个常数（可能是 -∞）。此外，lim_ {n→∞} E[ X_ {0, n} ] / n 也存在并等于同一个常数。这个定理为处理马尔可夫链驱动的次可加过程（如前面提到的对数配分函数过程）提供了直接而坚实的理论基础，无需假设过程的马尔可夫性，只需平稳性和次可加性即可。 总结来说， 马尔可夫链的次可加性 是一套通过“整体不大于部分和”这一不等式结构，来研究马尔可夫过程长期累积效应（如平均报酬、自由能、大偏差速率函数）的极限行为的理论框架。它将确定性的Fekete引理推广到随机环境，并通过Kingman定理等形式，成为分析复杂随机系统渐近性质的有力工具。