这个概率是区分状态性质的核心。

马尔可夫链的瞬时性与常返性 我来为你讲解马尔可夫链理论中一个关于状态长期行为的重要概念：状态的瞬时性与常返性。这个概念帮助我们判断系统在某个状态上是“路过”还是会“反复回来”。 第一步：理解基本概念——状态的首达时间与回访概率 想象一个粒子在马尔可夫链的各个状态之间随机跳转。我们关心它从某个特定状态出发后的行为。 首达时间 ：设粒子从状态 \( i \) 出发。它 首次 回到状态 \( i \) 所需的步数是一个随机变量，记作 \( T_ i \)。更精确地说，\( T_ i = \min\{ n \geq 1: X_ n = i \} \)，并规定如果粒子永远不返回，则 \( T_ i = \infty \)。 回访概率 ：我们定义 \( f_ {ii} \) 为粒子从状态 \( i \) 出发，在 未来某个时刻 （即经过至少一步）最终能返回状态 \( i \) 的概率。用数学表达就是： \[ f_ {ii} = P(T_ i < \infty | X_ 0 = i) \] 这个概率是区分状态性质的核心。 第二步：定义状态的瞬时性与常返性 根据回访概率 \( f_ {ii} \) 的大小，我们可以对状态进行关键分类： 常返状态 ：如果粒子从状态 \( i \) 出发后， 几乎必然 （以概率1）会返回，即 \( f_ {ii} = 1 \)，那么我们称状态 \( i \) 是 常返的 。 直观理解：一旦进入一个常返状态，系统注定会无限次地回到这个状态。它是一个“家”，系统离不开它。 瞬时状态 ：如果粒子从状态 \( i \) 出发后，存在一个 正的概率 永远不再返回，即 \( f_ {ii} < 1 \)，那么我们称状态 \( i \) 是 瞬时的 （也称为“非常返的”）。 直观理解：瞬时状态像一个“临时休息站”。系统可能会访问它，但总有一定的概率从它这里“逃逸”出去，并且一旦逃逸就永不再来。 第三步：一个重要的等价判别法——访问次数的期望 除了回访概率，还有一个非常实用的方法来判别状态的类型，它通过计算粒子访问某个状态的总次数的期望值来实现。 定义 \( V_ i = \sum_ {n=0}^{\infty} I_ {\{X_ n = i\}} \) 为粒子访问状态 \( i \) 的总次数。这里 \( I \) 是指示函数，当 \( X_ n = i \) 时为1，否则为0。\( V_ i \) 也是一个随机变量。 我们可以计算其期望值 \( E[ V_ i | X_ 0 = i] \)，它表示从状态 \( i \) 出发， 平均 会访问状态 \( i \) 多少次。这个期望值与状态的类型有直接关系： 常返状态的判别 ：状态 \( i \) 是常返的， 当且仅当 \( E[ V_ i | X_ 0 = i ] = \infty \)。 解释：因为粒子几乎必然无限次返回，所以总的访问次数的期望是无穷大。 瞬时状态的判别 ：状态 \( i \) 是瞬时的， 当且仅当 \( E[ V_ i | X_ 0 = i] < \infty \)。 解释：粒子有一定的概率永不返回，这使得平均访问次数是一个有限的数。 第四步：结合不可约性——类的性质 在之前学过的“马尔可夫链的不可约性”中我们知道，状态可以被划分为互通类。瞬时性和常返性有一个非常重要的性质： 在一个不可约的类中，所有状态要么都是常返的，要么都是瞬时的。 这意味着这个性质是 类的性质 ，而不是单个状态的性质。我们只需要判断一个类中任意一个状态的类型，就能知道整个类的类型。 第五步：举例说明 考虑一个非常简单但在状态空间 {0, 1, 2, ...} 上的随机游走。 对称简单随机游走（如抛硬币，正面向右走一步，反面向左走一步） ： 在一维和二维格点上，这个链是不可约的，并且 每个状态都是常返的 。粒子会无限次地回到起点。访问次数的期望是无穷大。 有漂移的随机游走（如向右走的概率大于向左走的概率） ： 这个链也是不可约的，但 每个状态都是瞬时的 。粒子会倾向于向右漂移，虽然它可能再次访问某个状态，但存在一个正的概率它一直向右永不回头。因此，对任何状态的访问次数的期望都是一个有限的数。 总结 瞬时状态 ：\( f_ {ii} < 1 \)，\( E[ V_ i | X_ 0 = i] < \infty \)。系统可能访问它，但最终会以正概率永久离开。 常返状态 ：\( f_ {ii} = 1 \)，\( E[ V_ i | X_ 0 = i ] = \infty \)。系统注定会无限次地回到该状态。 这个性质在不可约类中是共享的。 理解状态的瞬时性与常返性是分析马尔可夫链长期行为和稳定分布的基础。如果一个链存在瞬时状态，那么它的长期行为会集中在常返类上。