马尔可夫过程的熵率 熵率的基本定义 熵率是描述马尔可夫过程（或一般随机过程）平均每步信息量的度量。设 \( X_ 0, X_ 1, X_ 2, \ldots \) 是一个平稳马尔可夫过程，其联合熵为 \( H(X_ 0, X_ 1, \ldots, X_ {n-1}) \)。熵率定义为极限： \[ h = \lim_ {n \to \infty} \frac{H(X_ 0, X_ 1, \ldots, X_ {n-1})}{n}, \] 若该极限存在。熵率反映了过程长期演化的平均不确定性。 马尔可夫链熵率的简化计算 若过程是平稳不可约的马尔可夫链（状态空间有限），其转移矩阵为 \( P = (p_ {ij}) \)，平稳分布为 \( \pi \)，则熵率可简化为： \[ h = -\sum_ {i,j} \pi_ i p_ {ij} \log p_ {ij}. \] 这一公式的直观解释是：熵率等于在平稳分布下，单步转移的条件熵 \( H(X_ 1 \mid X_ 0) \) 的期望值。 熵率与遍历性的关联 对于遍历的马尔可夫过程，熵率与香农-麦克米伦-布雷曼定理密切相关：该定理表明，几乎每条轨道生成的序列的渐近概率满足 \( -\frac{1}{n} \log \mathbb{P}(X_ 0, \ldots, X_ {n-1}) \to h \)。这意味着熵率刻画了典型序列的指数衰减率。 熵率在数据压缩中的应用 熵率是无损数据压缩的理论极限。根据信源编码定理，对平稳遍历的马尔可夫过程，平均码长不可能低于熵率 \( h \)。例如，霍夫曼编码或算术编码的效率可由熵率评估。 非平稳过程的推广 对于非平稳或非马尔可夫的过程，熵率可能通过子移位或符号动力学的拓扑熵来定义，此时需利用遍历理论中的变分原理，将熵率与拓扑动力系统的复杂性联系起来。