马尔可夫链的状态分类

字数 2325 2025-10-28 08:37:22

好的，我们接下来学习词条：马尔可夫链的状态分类。

马尔可夫链的状态分类

马尔可夫链的状态分类是分析链的长期行为和结构的基础。它帮助我们理解从某个状态出发，系统最终会如何演化。

第一步：可达与互通

可达

定义：如果存在某个正整数 \(n \geq 0\)，使得从状态 \(i\) 经过 \(n\) 步转移到状态 \(j\) 的概率大于零，即 \(P_{ij}^{(n)} > 0\)，则称状态 \(j\) 是从状态 \(i\) 可达的，记作 \(i \to j\)。
直观理解：这意味着从状态 \(i\) 出发，有可能在有限步内到达状态 \(j\)。这并不要求每一步的概率都大于零，只要存在一条路径（可能经过其他状态）使得总概率为正即可。

互通

定义：如果状态 \(i\) 和状态 \(j\) 是相互可达的，即 \(i \to j\) 且 \(j \to i\)，则称状态 \(i\) 和 \(j\) 是互通的，记作 \(i \leftrightarrow j\)。
- 性质：互通关系是一种等价关系（满足自反性、对称性、传递性）。因此，一个马尔可夫链的所有状态可以被划分成若干个互通类。属于同一个互通类的状态之间都是互通的，而不同类的状态之间则不互通。

第二步：常返与瞬态（基于互通类的初步分类）

在定义了互通类之后，我们可以根据一个状态是否会被无限次访问，对其进行更精细的分类。

首达概率

定义：设 \(f_{ij}^{(n)}\) 表示从状态 \(i\) 出发，在第 n 步首次到达状态 \(j\) 的概率。
总首达概率：\(f_{ij} = \sum_{n=1}^{\infty} f_{ij}^{(n)}\)，这表示从 \(i\) 出发，最终总会到达 \(j\) 的概率。

常返态

定义：如果从状态 \(i\) 出发，最终返回自身的概率为 1，即 \(f_{ii} = 1\)，则称状态 \(i\) 是常返的。
- 核心性质：一个常返状态会被访问无限多次的概率为 1。可以证明，在一个互通类中，如果有一个状态是常返的，那么该类中的所有状态都是常返的。因此，我们也可以称这个互通类为一个常返类。

瞬态（或非常返态）

定义：如果从状态 \(i\) 出发，最终返回自身的概率小于 1，即 \(f_{ii} < 1\)，则称状态 \(i\) 是瞬态的（或非常返的）。
- 核心性质：一个瞬态状态只会被访问有限次，并且最终系统会离开它并永不返回的概率为正。同样，如果一个互通类中包含一个瞬态状态，那么该类中所有状态都是瞬态的，称为瞬态类。

第三步：周期性与非周期性（在常返类内的进一步分类）

对于一个常返类，我们还可以根据其返回时间的规律性进行细分。

周期

定义：状态 \(i\) 的周期 \(d(i)\) 是所有满足 \(P_{ii}^{(n)} > 0\) 的步数 \(n\) 的最大公约数。即 \(d(i) = \gcd\{ n \geq 1: P_{ii}^{(n)} > 0 \}\)。
性质：在同一个互通类中，所有状态都具有相同的周期。因此，我们也可以说一个常返类具有周期 \(d\)。

周期性

如果一个常返类的周期 \(d > 1\)，则称该类是周期性的。
直观理解：从该类中任何一个状态出发，返回该状态只能在步数为 \(d\) 的倍数时发生。系统的演化被限制在几个不同的“子状态集”之间循环。

非周期性

如果一个常返类的周期 \(d = 1\)，则称该类是非周期性的。
直观理解：返回时间没有固定的“节奏”限制。对于足够大的 \(n\)，从类中任一状态返回自身总是有可能的（即 \(P_{ii}^{(n)} > 0\)）。

第四步：正常返与零常返（基于平均返回时间的最终分类）

对于常返态，我们还可以根据其平均返回时间进行最后一次划分。

平均返回时间

定义：状态 \(i\) 的平均返回时间 \(\mu_i\) 是首次返回所需的平均步数，即 \(\mu_i = \sum_{n=1}^{\infty} n f_{ii}^{(n)}\)。对于常返态，由于 \(f_{ii} = 1\)，这个期望值是有定义的（可能为无穷大）。

正常返

定义：如果一个常返状态 \(i\) 的平均返回时间 \(\mu_i\) 是有限的（即 \(\mu_i < \infty\)），则称状态 \(i\) 是正常返的。

零常返

定义：如果一个常返状态 \(i\) 的平均返回时间 \(\mu_i\) 是无穷大（即 \(\mu_i = \infty\)），则称状态 \(i\) 是零常返的。
- 备注：在有限状态的马尔可夫链中，所有常返态都是正常返的。零常返现象只可能出现在无限状态空间的马尔可夫链中。

总结

马尔可夫链的状态分类是一个层次化的过程：

首先根据互通性将状态划分为不同的类。
然后根据是否常返，将类分为常返类和瞬态类。
对于常返类，再根据其周期分为周期性常返类和非周期性常返类。
最后，对于常返类，根据平均返回时间分为正常返类和零常返类。

这种分类对于理解马尔可夫链的极限定理（如你已学过的平稳分布、收敛定理等）至关重要，因为它精确地描述了系统长期行为的各种可能性。

好的，我们接下来学习词条：马尔可夫链的状态分类。马尔可夫链的状态分类马尔可夫链的状态分类是分析链的长期行为和结构的基础。它帮助我们理解从某个状态出发，系统最终会如何演化。第一步：可达与互通可达定义：如果存在某个正整数 \( n \geq 0 \)，使得从状态 \( i \) 经过 \( n \) 步转移到状态 \( j \) 的概率大于零，即 \( P_ {ij}^{(n)} > 0 \)，则称状态 \( j \) 是从状态 \( i \) 可达的，记作 \( i \to j \)。直观理解：这意味着从状态 \( i \) 出发，有可能在有限步内到达状态 \( j \)。这并不要求每一步的概率都大于零，只要存在一条路径（可能经过其他状态）使得总概率为正即可。互通定义：如果状态 \( i \) 和状态 \( j \) 是相互可达的，即 \( i \to j \) 且 \( j \to i \)，则称状态 \( i \) 和 \( j \) 是互通的，记作 \( i \leftrightarrow j \)。性质：互通关系是一种等价关系（满足自反性、对称性、传递性）。因此，一个马尔可夫链的所有状态可以被划分成若干个互通类。属于同一个互通类的状态之间都是互通的，而不同类的状态之间则不互通。第二步：常返与瞬态（基于互通类的初步分类）在定义了互通类之后，我们可以根据一个状态是否会被无限次访问，对其进行更精细的分类。首达概率定义：设 \( f_ {ij}^{(n)} \) 表示从状态 \( i \) 出发，在第 n 步首次到达状态 \( j \) 的概率。总首达概率：\( f_ {ij} = \sum_ {n=1}^{\infty} f_ {ij}^{(n)} \)，这表示从 \( i \) 出发，最终总会到达 \( j \) 的概率。常返态定义：如果从状态 \( i \) 出发，最终返回自身的概率为 1，即 \( f_ {ii} = 1 \)，则称状态 \( i \) 是常返的。核心性质：一个常返状态会被访问无限多次的概率为 1。可以证明，在一个互通类中，如果有一个状态是常返的，那么该类中的所有状态都是常返的。因此，我们也可以称这个互通类为一个常返类。瞬态（或非常返态）定义：如果从状态 \( i \) 出发，最终返回自身的概率小于 1，即 \( f_ {ii} < 1 \)，则称状态 \( i \) 是瞬态的（或非常返的）。核心性质：一个瞬态状态只会被访问有限次，并且最终系统会离开它并永不返回的概率为正。同样，如果一个互通类中包含一个瞬态状态，那么该类中所有状态都是瞬态的，称为瞬态类。第三步：周期性与非周期性（在常返类内的进一步分类）对于一个常返类，我们还可以根据其返回时间的规律性进行细分。周期定义：状态 \( i \) 的周期 \( d(i) \) 是所有满足 \( P_ {ii}^{(n)} > 0 \) 的步数 \( n \) 的最大公约数。即 \( d(i) = \gcd\{ n \geq 1: P_ {ii}^{(n)} > 0 \} \)。性质：在同一个互通类中，所有状态都具有相同的周期。因此，我们也可以说一个常返类具有周期 \( d \)。周期性如果一个常返类的周期 \( d > 1 \)，则称该类是周期性的。直观理解：从该类中任何一个状态出发，返回该状态只能在步数为 \( d \) 的倍数时发生。系统的演化被限制在几个不同的“子状态集”之间循环。非周期性如果一个常返类的周期 \( d = 1 \)，则称该类是非周期性的。直观理解：返回时间没有固定的“节奏”限制。对于足够大的 \( n \)，从类中任一状态返回自身总是有可能的（即 \( P_ {ii}^{(n)} > 0 \)）。第四步：正常返与零常返（基于平均返回时间的最终分类）对于常返态，我们还可以根据其平均返回时间进行最后一次划分。平均返回时间定义：状态 \( i \) 的平均返回时间 \( \mu_ i \) 是首次返回所需的平均步数，即 \( \mu_ i = \sum_ {n=1}^{\infty} n f_ {ii}^{(n)} \)。对于常返态，由于 \( f_ {ii} = 1 \)，这个期望值是有定义的（可能为无穷大）。正常返定义：如果一个常返状态 \( i \) 的平均返回时间 \( \mu_ i \) 是有限的（即 \( \mu_ i < \infty \)），则称状态 \( i \) 是正常返的。零常返定义：如果一个常返状态 \( i \) 的平均返回时间 \( \mu_ i \) 是无穷大（即 \( \mu_ i = \infty \)），则称状态 \( i \) 是零常返的。备注：在有限状态的马尔可夫链中，所有常返态都是正常返的。零常返现象只可能出现在无限状态空间的马尔可夫链中。总结马尔可夫链的状态分类是一个层次化的过程：首先根据互通性将状态划分为不同的类。然后根据是否常返，将类分为常返类和瞬态类。对于常返类，再根据其周期分为周期性常返类和非周期性常返类。最后，对于常返类，根据平均返回时间分为正常返类和零常返类。这种分类对于理解马尔可夫链的极限定理（如你已学过的平稳分布、收敛定理等）至关重要，因为它精确地描述了系统长期行为的各种可能性。