马尔可夫过程的遍历性
遍历理论不仅研究确定性系统，也研究随机过程。马尔可夫过程是一类重要的随机过程，其核心特性是"无记忆性"：过程的未来演化只依赖于当前状态，而与过去的历史无关。马尔可夫过程的遍历性研究的是，在什么条件下，过程的状态分布在长时间后会趋于一个稳定的分布（平稳分布），并且过程在时间上的平均行为会等于这个平稳分布下的空间平均。
-
基本定义：马尔可夫过程
一个马尔可夫过程可以由一个状态空间（例如实数集或其子集）、一个转移概率函数以及一个初始分布来定义。转移概率函数 \(P_t(x, A)\) 描述了过程在 \(t\) 时刻处于状态 \(x\) 的条件下，在 \(t+1\) 时刻（对于离散时间）或经过时间 \(t\) 后（对于连续时间）落入状态集合 \(A\) 的概率。无记忆性体现在：给定当前状态，未来状态的条件分布与过去状态独立。 -
不变（平稳）分布
对于一个马尔可夫过程，一个概率分布 \(\pi\) 被称为是不变分布或平稳分布，如果从该分布出发，过程在任何未来时刻的分布仍然是 \(\pi\)。数学上，对于离散时间过程，这要求 \(\pi(A) = \int P_1(x, A) \, d\pi(x)\) 对所有可测集 \(A\) 成立。对于连续时间过程，有相应的方程。平稳分布是过程可能收敛到的"平衡状态"。 -
不可约性与常返性
为了确保遍历性，过程必须能够"访问"状态空间的各个部分。- 不可约性：如果从状态空间的任何区域出发，过程都有正的概率到达任何其他区域（在有限时间内），则称该过程是不可约的。这保证了状态空间不能被分解为互不连通的部分。
- 常返性：一个状态是常返的，如果过程从该状态出发，几乎必然（以概率1）会无穷多次返回该状态。不可约过程如果存在一个常返状态，则所有状态都是常返的。常返性保证了过程不会"跑丢"。
-
马尔可夫过程的遍历定理
对于满足一定条件（如不可约、常返、具有平稳分布 \(\pi\) ）的马尔可夫过程 \(\{X_t\}\)，遍历定理成立。设 \(f\) 是一个关于 \(\pi\) 可积的函数（即 \(\int |f| d\pi < \infty\)），那么对于几乎所有的初始状态（或当初始分布是 \(\pi\) 时），时间平均几乎必然收敛于空间平均：
\[ \lim_{T \to \infty} \frac{1}{T} \int_0^T f(X_t) dt = \int f(x) d\pi(x) \quad \text{(a.s.)} \]
对于离散时间过程，积分替换为求和。这个定理是伯克霍夫逐点遍历定理在马尔可夫过程背景下的具体体现。
- 收敛到平稳分布
除了时间平均的收敛，马尔可夫过程本身的状态分布在温和的条件下也会收敛到平稳分布。这意味着，无论过程从哪个初始状态开始，经过足够长的时间后，它在任一时刻处于某个状态的概率将无限接近平稳分布给出的概率。这种收敛性（通常以总变差范数衡量）是马尔可夫过程遍历性的另一个关键方面，它比时间平均的收敛更强，通常需要过程是"非周期"的。