随机过程
字数 2321 2025-10-26 09:01:43

随机过程

好的，我们开始学习“随机过程”。这是一个非常强大且应用极其广泛的工具，用于描述系统随时间的演化。

第一步：从随机变量到随机过程

首先，请回忆一下“随机变量”的概念。一个随机变量（例如，用 X 表示）是一个函数，它将随机实验的每一个可能结果映射到一个数值上。比如，掷一次骰子，结果（点数）就是一个随机变量。

现在，让我们引入“时间”或“顺序”这个维度。想象一下，你不是只掷一次骰子，而是一次又一次地、连续地掷骰子。在每一个时间点（比如第1次、第2次、第3次……），你都有一个随机变量来描述此刻的结果。

  • 定义：一个随机过程就是一族随机变量的集合，这族随机变量通常由一个索引参数（比如时间 t）来标注。记作 {X_t, t ∈ T}。
    • X_t： 这是在索引点 t 上的随机变量。它代表在“时刻” t 时过程的状态。
    • 索引集 T： 这是参数 t 的取值集合。它决定了过程的类型：
      • 如果 T 是可数集合（例如 T = {0, 1, 2, 3, ...}），我们称之为离散时间随机过程。比如，记录每天收盘时的股价。
      • 如果 T 是不可数集合（例如 T = [0, ∞)），我们称之为连续时间随机过程。比如，记录一台服务器从启动到某一瞬间的累计请求数。

一个简单的例子：简单随机游走

这是理解随机过程最经典的模型。

  • 描述：一个点在数轴上移动。在每一个离散的时间步（t=1, 2, 3...），它都以一定的概率向左或向右移动一格。

  • 建模：

    • 设初始位置为 S₀ = 0。
    • 在每一个时间点 n (n=1,2,3,...)，我们抛一枚均匀的硬币。
      • 如果正面朝上，记 X_n = +1（向右走一步）。
      • 如果反面朝上，记 X_n = -1（向左走一步）。
    • X₁, X₂, X₃, ... 是一列独立的、同分布的随机变量。它们代表了每一步的“位移”。

  • 随机过程：这个点在时间 n 的位置 S_n，就是一个随机过程。它定义为前 n 步位移的和：

    S_n = X₁ + X₂ + ... + X_n

    所以，{S_n, n=0,1,2,3,...} 就是一个离散时间随机过程。它的状态（位置）在每一步都随机地变化。

第二步：随机过程的分类与核心特征

随机过程可以根据其“状态空间”（随机变量 X_t 可能取到的值）和“索引集 T”进行分类。但更重要的分类是基于过程在不同时间点的随机变量之间的依赖关系。

  1. 独立过程：最简单的过程，其中不同时间的随机变量（如 X₁, X₂, ...）是相互独立的。上面例子中的每一步位移 {X_n} 就是一个独立过程。但位置 {S_n} 不是独立的，因为 Sₙ 依赖于 Sₙ₋₁。

  2. 马尔可夫过程：这是非常重要的一类过程。你已经学过马尔可夫链，它就是状态空间离散的马尔可夫过程。

    • 核心性质（马尔可夫性）：过程在“未来”的状态的条件概率分布，只依赖于“现在”的状态，而与“过去”的历史无关。
    • 用数学语言表达：P(X_{t+1} = j | X₀=i₀, X₁=i₁, ..., X_t=i) = P(X_{t+1} = j | X_t=i)
    • 简单随机游走 {S_n} 就是一个马尔可夫过程。你下一步会走到哪里（未来），只取决于你现在站在哪里（现在），而不在乎你是怎么走到这里来的（过去）。

  3. 平稳过程：另一类重要的过程。其统计性质（如均值和方差）不随时间原点（起点）的改变而改变。

    • 直观理解：无论你从什么时候开始观察这个过程，它看起来“都差不多”。比如，白噪声就是一个平稳过程。

第三步：描述随机过程的工具

我们如何刻画一个随机过程呢？由于它包含无穷多个随机变量，我们无法列出每一个的概率分布。通常我们通过以下方式来描述：

  1. 有限维分布：这是最完整的描述。即给出随机过程在任意有限个时间点 (t₁, t₂, ..., tₙ) 上的联合概率分布。

    • 例如，对于简单随机游走，我们可以计算出 P(S₁=1, S₃=2, S₅=1) 这样的概率。

  2. 均值函数：对于每个时间 t，计算该时刻随机变量 X_t 的期望值 μ(t) = E[X_t]。它描述了过程在时间 t 的平均水平。

  3. 自协方差函数：它衡量的是过程在不同时间点之间的相关性。定义为：Cov(t₁, t₂) = E[(X_{t₁} - μ(t₁)) (X_{t₂} - μ(t₂))]。它描述了时间 t₁ 的状态对时间 t₂ 的状态有多大影响。

第四步：重要的随机过程示例（除了马尔可夫链）

  1. 泊松过程：

    • 索引集 T： 连续时间（例如 [0, ∞)）。
    • 状态空间： 非负整数 {0,1,2,...}，通常用来计数。
    • 描述：用于建模在一段连续时间内随机事件发生的次数。比如，客服电话的接入次数、放射性物质的衰变次数。
    • 特点：事件之间是独立的，且在一段非常短的时间内，最多发生一个事件。

  2. 布朗运动（或维纳过程）：

    • 索引集 T： 连续时间。
    • 状态空间： 连续实数。
    • 描述：可以看作是连续时间版本的“简单随机游走”（当步长无限缩小，时间间隔无限缩短时的极限）。用于描述花粉在水中的无规则运动（布朗运动）、股票价格的连续变化模型（金融数学的基础）。
    • 特点：路径是连续的，但处处不可微，增量是独立的且服从正态分布。

总结

随机过程将随机变量从静态的单点描述，扩展到了动态的演化描述。它是理解和分析任何具有不确定性的、随时间变化的系统（如排队队列、股票价格、物种数量、语音信号）的核心数学工具。其研究核心在于理解不同时间状态之间的依赖关系（如马尔可夫性）和统计规律（如平稳性）。

随机过程 好的，我们开始学习“随机过程”。这是一个非常强大且应用极其广泛的工具，用于描述系统随时间的演化。 第一步：从随机变量到随机过程 首先，请回忆一下“随机变量”的概念。一个随机变量（例如，用 X 表示）是一个函数，它将随机实验的每一个可能结果映射到一个数值上。比如，掷一次骰子，结果（点数）就是一个随机变量。 现在，让我们引入“时间”或“顺序”这个维度。想象一下，你不是只掷一次骰子，而是 一次又一次地、连续地掷骰子 。在每一个时间点（比如第1次、第2次、第3次……），你都有一个随机变量来描述此刻的结果。 定义 ：一个 随机过程 就是一族随机变量的集合，这族随机变量通常由一个索引参数（比如时间 t）来标注。记作 {X_ t, t ∈ T}。 X_ t ： 这是在索引点 t 上的随机变量。它代表在“时刻” t 时过程的状态。 索引集 T ： 这是参数 t 的取值集合。它决定了过程的类型： 如果 T 是 可数集合 （例如 T = {0, 1, 2, 3, ...}），我们称之为 离散时间随机过程 。比如，记录每天收盘时的股价。 如果 T 是 不可数集合 （例如 T = [ 0, ∞)），我们称之为 连续时间随机过程 。比如，记录一台服务器从启动到某一瞬间的累计请求数。 一个简单的例子：简单随机游走 这是理解随机过程最经典的模型。 描述 ：一个点在数轴上移动。在每一个离散的时间步（t=1, 2, 3...），它都以一定的概率向左或向右移动一格。 建模 ： 设初始位置为 S₀ = 0。 在每一个时间点 n (n=1,2,3,...)，我们抛一枚均匀的硬币。 如果正面朝上，记 X_ n = +1（向右走一步）。 如果反面朝上，记 X_ n = -1（向左走一步）。 X₁, X₂, X₃, ... 是一列独立的、同分布的随机变量。它们代表了每一步的“位移”。 随机过程 ：这个点在时间 n 的位置 S_ n，就是一个随机过程。它定义为前 n 步位移的和： S_ n = X₁ + X₂ + ... + X_ n 所以，{S_ n, n=0,1,2,3,...} 就是一个离散时间随机过程。它的状态（位置）在每一步都随机地变化。 第二步：随机过程的分类与核心特征 随机过程可以根据其“状态空间”（随机变量 X_ t 可能取到的值）和“索引集 T”进行分类。但更重要的分类是基于过程在不同时间点的随机变量之间的 依赖关系 。 独立过程 ：最简单的过程，其中不同时间的随机变量（如 X₁, X₂, ...）是相互独立的。上面例子中的每一步位移 {X_ n} 就是一个独立过程。但位置 {S_ n} 不是独立的，因为 Sₙ 依赖于 Sₙ₋₁。 马尔可夫过程 ：这是非常重要的一类过程。你已经学过马尔可夫链，它就是状态空间离散的马尔可夫过程。 核心性质（马尔可夫性） ：过程在“未来”的状态的条件概率分布，只依赖于“现在”的状态，而与“过去”的历史无关。 用数学语言表达：P(X_ {t+1} = j | X₀=i₀, X₁=i₁, ..., X_ t=i) = P(X_ {t+1} = j | X_ t=i) 简单随机游走 {S_ n} 就是一个马尔可夫过程。你下一步会走到哪里（未来），只取决于你现在站在哪里（现在），而不在乎你是怎么走到这里来的（过去）。 平稳过程 ：另一类重要的过程。其统计性质（如均值和方差）不随时间原点（起点）的改变而改变。 直观理解 ：无论你从什么时候开始观察这个过程，它看起来“都差不多”。比如，白噪声就是一个平稳过程。 第三步：描述随机过程的工具 我们如何刻画一个随机过程呢？由于它包含无穷多个随机变量，我们无法列出每一个的概率分布。通常我们通过以下方式来描述： 有限维分布 ：这是最完整的描述。即给出随机过程在任意有限个时间点 (t₁, t₂, ..., tₙ) 上的联合概率分布。 例如，对于简单随机游走，我们可以计算出 P(S₁=1, S₃=2, S₅=1) 这样的概率。 均值函数 ：对于每个时间 t，计算该时刻随机变量 X_ t 的期望值 μ(t) = E[ X_ t ]。它描述了过程在时间 t 的平均水平。 自协方差函数 ：它衡量的是过程在不同时间点之间的相关性。定义为：Cov(t₁, t₂) = E[ (X_ {t₁} - μ(t₁)) (X_ {t₂} - μ(t₂)) ]。它描述了时间 t₁ 的状态对时间 t₂ 的状态有多大影响。 第四步：重要的随机过程示例（除了马尔可夫链） 泊松过程 ： 索引集 T ： 连续时间（例如 [ 0, ∞)）。 状态空间 ： 非负整数 {0,1,2,...}，通常用来计数。 描述 ：用于建模在一段连续时间内随机事件发生的次数。比如，客服电话的接入次数、放射性物质的衰变次数。 特点 ：事件之间是独立的，且在一段非常短的时间内，最多发生一个事件。 布朗运动（或维纳过程） ： 索引集 T ： 连续时间。 状态空间 ： 连续实数。 描述 ：可以看作是连续时间版本的“简单随机游走”（当步长无限缩小，时间间隔无限缩短时的极限）。用于描述花粉在水中的无规则运动（布朗运动）、股票价格的连续变化模型（金融数学的基础）。 特点 ：路径是连续的，但处处不可微，增量是独立的且服从正态分布。 总结 随机过程将随机变量从静态的单点描述，扩展到了动态的演化描述。它是理解和分析任何具有不确定性的、随时间变化的系统（如排队队列、股票价格、物种数量、语音信号）的核心数学工具。其研究核心在于理解不同时间状态之间的依赖关系（如马尔可夫性）和统计规律（如平稳性）。