马尔可夫链的常返性与暂态性

字数 2203 2025-10-27 11:28:16

马尔可夫链的常返性与暂态性

我们来探讨马尔可夫链理论中一个非常基础且重要的概念：状态的分类，特别是常返性与暂态性。这个概念帮助我们理解一个随机过程从某个状态出发后，长期来看的行为特征。

第一步：基本设定与首次回归

首先，我们有一个在可数状态空间（例如所有整数）上定义的、时间离散的马尔可夫链。我们关注的是链从一个特定的状态 $i$ 出发后的行为。

一个核心概念是“首次回归时间”。我们定义 $f_{ii}^{(n)}$ 为链从状态 $i$ 出发，在 $n$ 步后首次返回状态 $i$ 的概率。注意，是“首次”，这意味着在中间的 $n-1$ 步里，链没有回到过状态 $i$。

基于这个首次回归概率，我们可以定义另一个关键量：链从状态 $i$ 出发后，最终会返回状态 $i$ 的概率，记作 $f_{ii}$。它的计算公式是：

\[f_{ii} = \sum_{n=1}^{\infty} f_{ii}^{(n)} \]

这个概率 $f_{ii}$ 的值决定了状态 $i$ 的根本性质。

第二步：常返与暂态的定义

现在，我们根据 $f_{ii}$ 的值来对状态 $i$ 进行分类：

常返状态：如果 $f_{ii} = 1$。这意味着从状态 $i$ 出发，链几乎必定（概率为1）会在未来的某个时刻返回状态 $i$。
暂态状态：如果 $f_{ii} < 1$。这意味着从状态 $i$ 出发，链存在一个大于零的概率 $(1 - f_{ii})$ 永远不再返回状态 $i$。

你可以这样直观理解：一个常返状态是链的“家”，一旦离开，它总有一天会回来。而一个暂态状态像一个“临时站点”，链有可能一去不复返。

第三步：常返性的一个等价判别准则

除了通过计算回归概率 $f_{ii}$ 来判断，还有一个更常用的、基于“访问次数”的等价判别方法。

定义 $N_i$ 为链在无限时间内访问状态 $i$ 的总次数（包括初始时刻，如果初始状态是 $i$ 的话）。我们可以证明：

状态 $i$ 是常返的，当且仅当从 $i$ 出发，链访问 $i$ 的总次数的期望值是无穷大：$E[N_i | X_0 = i] = \infty$。
状态 $i$ 是暂态的，当且仅当从 $i$ 出发，链访问 $i$ 的总次数的期望值是有限的：$E[N_i | X_0 = i] < \infty$。

这个期望值 $E[N_i | X_0 = i]$ 实际上等于链从 $i$ 出发，在将来所有时间步回到 $i$ 的概率之和，即 $\sum_{n=0}^{\infty} p_{ii}^{(n)}$，其中 $p_{ii}^{(n)}$ 是 $n$ 步转移概率（不要求是首次返回）。

因此，我们得到一个非常实用的判别法：

状态 $i$ 是常返的 $\iff$ $\sum_{n=0}^{\infty} p_{ii}^{(n)} = \infty$
状态 $i$ 是暂态的 $\iff$ $\sum_{n=0}^{\infty} p_{ii}^{(n)} < \infty$

第四步：零常返与正常返

在常返状态中，我们还可以进行更细致的划分。一个状态是常返的，意味着它会被无限次访问。但我们还关心它平均多久回来一次。

定义状态 $i$ 的平均回归时间 $\mu_i$ 为：

\[\mu_i = \sum_{n=1}^{\infty} n f_{ii}^{(n)} \]

（注意，因为 $f_{ii} = 1$，这个期望值是良定义的）。

正常返状态：如果平均回归时间 $\mu_i$ 是有限的（$\mu_i < \infty$）。这意味着链会频繁地回到这个状态。
零常返状态：如果平均回归时间 $\mu_i$ 是无穷大的（$\mu_i = \infty$）。这虽然也是常返状态（必定返回），但返回的间隔非常长，以至于在长期来看，它出现在任何特定时刻的概率趋近于零。

第五步：不可约性与状态类性质

最后，一个非常重要的概念是“不可约性”。如果链中的任意两个状态都是互通的（即从任何一个状态出发，都有正的概率在有限步内到达另一个状态），那么我们称这个马尔可夫链是不可约的。

对于不可约的马尔可夫链，其所有状态都具有相同的类别性质：

要么所有状态都是暂态的。
要么所有状态都是零常返的。
要么所有状态都是正常返的。

这意味着在不可约链中，我们只需要判断其中一个状态的性质，就可以知道整个链的状态性质。这极大地简化了分析过程。

总结一下，通过分析状态的常返性、暂态性，以及进一步的正常返与零常返，我们可以深刻理解马尔可夫链的长期行为模式，比如它是否会无限次地访问某些状态，以及访问的频率如何。这是研究马尔可夫链稳定性和极限行为的基础。

马尔可夫链的常返性与暂态性我们来探讨马尔可夫链理论中一个非常基础且重要的概念：状态的分类，特别是常返性与暂态性。这个概念帮助我们理解一个随机过程从某个状态出发后，长期来看的行为特征。第一步：基本设定与首次回归首先，我们有一个在可数状态空间（例如所有整数）上定义的、时间离散的马尔可夫链。我们关注的是链从一个特定的状态 $ i $ 出发后的行为。一个核心概念是“首次回归时间”。我们定义 $ f_ {ii}^{(n)} $ 为链从状态 $ i $ 出发，在 $ n $ 步后首次返回状态 $ i $ 的概率。注意，是“首次”，这意味着在中间的 $ n-1 $ 步里，链没有回到过状态 $ i $。基于这个首次回归概率，我们可以定义另一个关键量：链从状态 $ i $ 出发后，最终会返回状态 $ i $ 的概率，记作 $ f_ {ii} $。它的计算公式是： \[ f_ {ii} = \sum_ {n=1}^{\infty} f_ {ii}^{(n)} \] 这个概率 $ f_ {ii} $ 的值决定了状态 $ i $ 的根本性质。第二步：常返与暂态的定义现在，我们根据 $ f_ {ii} $ 的值来对状态 $ i $ 进行分类：常返状态：如果 $ f_ {ii} = 1 $。这意味着从状态 $ i $ 出发，链几乎必定（概率为1）会在未来的某个时刻返回状态 $ i $。暂态状态：如果 $ f_ {ii} < 1 $。这意味着从状态 $ i $ 出发，链存在一个大于零的概率 $ (1 - f_ {ii}) $ 永远不再返回状态 $ i $。你可以这样直观理解：一个常返状态是链的“家”，一旦离开，它总有一天会回来。而一个暂态状态像一个“临时站点”，链有可能一去不复返。第三步：常返性的一个等价判别准则除了通过计算回归概率 $ f_ {ii} $ 来判断，还有一个更常用的、基于“访问次数”的等价判别方法。定义 $ N_ i $ 为链在无限时间内访问状态 $ i $ 的总次数（包括初始时刻，如果初始状态是 $ i $ 的话）。我们可以证明：状态 $ i $ 是常返的，当且仅当从 $ i $ 出发，链访问 $ i $ 的总次数的期望值是无穷大：$ E[ N_ i | X_ 0 = i ] = \infty $。状态 $ i $ 是暂态的，当且仅当从 $ i $ 出发，链访问 $ i $ 的总次数的期望值是有限的：$ E[ N_ i | X_ 0 = i] < \infty $。这个期望值 $ E[ N_ i | X_ 0 = i] $ 实际上等于链从 $ i $ 出发，在将来所有时间步回到 $ i $ 的概率之和，即 $ \sum_ {n=0}^{\infty} p_ {ii}^{(n)} $，其中 $ p_ {ii}^{(n)} $ 是 $ n $ 步转移概率（不要求是首次返回）。因此，我们得到一个非常实用的判别法：状态 $ i $ 是常返的 $\iff$ $\sum_ {n=0}^{\infty} p_ {ii}^{(n)} = \infty$ 状态 $ i $ 是暂态的 $\iff$ $\sum_ {n=0}^{\infty} p_ {ii}^{(n)} < \infty$ 第四步：零常返与正常返在常返状态中，我们还可以进行更细致的划分。一个状态是常返的，意味着它会被无限次访问。但我们还关心它平均多久回来一次。定义状态 $ i $ 的平均回归时间 $ \mu_ i $ 为： \[ \mu_ i = \sum_ {n=1}^{\infty} n f_ {ii}^{(n)} \] （注意，因为 $ f_ {ii} = 1 $，这个期望值是良定义的）。正常返状态：如果平均回归时间 $ \mu_ i $ 是有限的（$ \mu_ i < \infty $）。这意味着链会频繁地回到这个状态。零常返状态：如果平均回归时间 $ \mu_ i $ 是无穷大的（$ \mu_ i = \infty $）。这虽然也是常返状态（必定返回），但返回的间隔非常长，以至于在长期来看，它出现在任何特定时刻的概率趋近于零。第五步：不可约性与状态类性质最后，一个非常重要的概念是“不可约性”。如果链中的任意两个状态都是互通的（即从任何一个状态出发，都有正的概率在有限步内到达另一个状态），那么我们称这个马尔可夫链是不可约的。对于不可约的马尔可夫链，其所有状态都具有相同的类别性质：要么所有状态都是暂态的。要么所有状态都是零常返的。要么所有状态都是正常返的。这意味着在不可约链中，我们只需要判断其中一个状态的性质，就可以知道整个链的状态性质。这极大地简化了分析过程。总结一下，通过分析状态的常返性、暂态性，以及进一步的正常返与零常返，我们可以深刻理解马尔可夫链的长期行为模式，比如它是否会无限次地访问某些状态，以及访问的频率如何。这是研究马尔可夫链稳定性和极限行为的基础。