稳态过程与马尔可夫假设

15.1.2 稳态过程与马尔可夫假设

在给定问题中，一旦确定了状态变量与证据变量的集合，下一步便是要指定变量之间的相互依赖关系。我们可以按照第十四章所给出的过程，将所有的变量按照某个次序排列，然后在给定父节点的某个集合的条件下，讨论祖先节点的条件独立关系。一个明显的选择是按自然的时序次序对变量进行排序，这是因为原因通常出现在结果之前，而我们更愿意按照因果次序添加变量。

然而，我们很快就会碰到麻烦：变量集合是无界的，因为它需要包含全部时间片中的状态与证据变量。而这实际上又创造出两个问题：第一，与每个时间片中的每个变量相对应，我们需要指定数目无界的条件概率表；第二，条件概率表可能会涉及数目无界的父节点。

为了解决第一个问题我们假设环境状态的变化是由一个稳态过程引起的——也就是说，变化的过程是由本身不随时间变化的规律支配的。（不要混淆静态和稳态：在一个静态过程中，状态本身是不发生变化的）。于是，在雨伞世界中，伞出现的条件概率P(Ut|Parents(Ut))对于所有的时间片 t 都是相同的。因此在稳态假设下，我们只需要为某个“代表性的”时间片中的变量指定条件概率分布就可以了。

为了解决第二个问题，也就是可能会需要处理潜在的无穷多个父节点，我们引入所谓的马尔可夫假设——即当前状态只依赖于过去有限的已出现状态历史。俄国统计学家安德列·马尔可夫（Andrei Markov）最早深入研究了满足这个假设的过程，因此这样的过程被称为马尔可夫过程或者马尔可夫链。马尔可夫过程有各种不同的形式，其中最简单的是一阶马尔可夫过程，其中当前状态只依赖于相邻的前一个状态，而与更早的状态无关。换句话说，一个状态就是为了使未来不依赖于该状态的过去我们所需要知道的信息。利用我们的符号表示，对于所有时间片t，对应的条件独立性断言为：

因此，在一阶马尔可夫过程中，描述状态如何随时间演化的规律完全包含在条件分布P(Xt|Xt-1)内，这个分布被称为一阶过程的转移模型[21]。二阶马尔可夫过程的转移模型则是条件分布P(Xt|Xt –2, Xt-1)。图15.1显示了分别与一阶和二阶马尔可夫过程相对应的贝叶斯网络结构。

图15.1 )与一个包含由变量Xt所定义的状态的一阶马尔可夫过程相对应的贝叶斯网络。(b)一个二阶马尔可夫过程

除了对状态变量 Xt的父节点进行限制外，我们还要对证据变量 Et的父节点进行限制。典型地，我们假设时刻t的证据变量只取决于当前状态：

条件分布P(Et|Xt)被称为传感器模型（或者有时也被称为观察模型），因为它描述了“传感器” ——也就是，证据变量——是如何受到世界的真实状态的影响的。注意依赖性的方向：“箭头”从状态变量指向传感器的取值，因为世界的状态造成了传感器具有特定取值。例如，在雨伞世界中，下雨造成雨伞出现。（当然，推理过程是按照相反的方向进行的；模型依赖性的方向与推理方向的区别是贝叶斯网络的主要优点之一。）

除了转移模型和传感器模型以外，我们还需要指定时刻0时的先验概率P(X0)。这3个分布，结合公式（15.1）和公式（15.2）中的条件独立性断言，为我们提供了所有变量上完整的联合概率分布的详细说明。对于任何有限的t，我们有

这个独立性假设对应于描述整个系统的一种非常简单的贝叶斯网络结构。图15.2显示了雨伞例子的网络结构，包括转移模型和传感器模型的条件分布。

图15.2 描述雨伞世界的贝叶斯网络结构及条件分布。转移模型是P(Raint|Raint-1)，而传感器模型为P(Umbrellat|Raint)

图中的结构假设了一个一阶马尔可夫过程，因为下雨的概率被假设为只依赖于前一天是否下雨了。这个假设是否合理取决于域本身。一阶马尔可夫假设认为，状态变量包含了刻画下一个时间片的概率分布所需的全部信息。有时候这个假设是精确成立的——例如，一个粒子沿x轴方向执行随机行走，在每个时间步都会发生 ±1 的位置改变，那么可以用粒子的x坐标作为构成一阶马尔可夫过程的状态。有时候这个假设只是一种近似，就如同仅仅根据前一天是否下过雨来预测今天是否会下雨的情况一样。如果这样的近似被证明太不精确，有两种可能的弥补方法：

（1）提高马尔可夫过程的阶数。例如，我们可以通过为节点Raint增加父节点Raint-2构造一个二阶马尔可夫模型，这或许能够提供精度稍微高一些的预测（例如，在Palo Alto这个地方很少连续下两天以上的雨）。

（2）扩大状态变量集合。例如，我们可以增加变量Seasont以允许我们结合考虑雨季的历史记录，或者我们可以增加Temperaturet（时刻t的温度）、Humidityt（时刻t的湿度）、Pressuret（时刻t的气压）以允许我们使用降雨条件的物理模型。

习题 15.1 会要求你证明第一个解决方案——提高阶数——总能够通过增加状态变量的个数重新进行形式化，以保持阶数不变。注意增加状态变量虽然可能会提高系统的预测能力，但是同时也增加了预测的需求：这些新的变量也是我们现在必须预测的。因此，我们要寻找一个“自给自足的”变量集合，而这实际上意味着我们必须理解要建模的过程的“物理”本质。如果我们增加能够直接提供关于新状态变量的信息的新传感器（例如关于温度、气压的测量值），对过程精确建模的要求显然可以降低。

例如，考虑在X-Y平面上随机漫游的机器人的路径追踪问题。有人可能会提出机器人的位置和速度作为变量集足以描述这个问题了：只要使用牛顿定律就可以计算出它的新位置，而速度则可能发生不可预知的变化。然而如果这个机器人是电池驱动的，那么电力的耗尽会对机器人的运动速度改变产生系统性的影响。由于这又依次取决于机器人在过去的所有行动中已经消耗了多少电力，马尔可夫特性被破坏了。我们可以通过增加一个表示电池电力水平的变量Batteryt，作为组成Xt的一个状态变量，来恢复其马尔可夫特性。这有助于预测机器人的行动，但是又需要一个模型根据速度与 Batteryt-1对Batteryt进行预测。在某些情况下，这能够非常可靠地完成，精度可以通过增加一个针对电池电力水平的新传感器得到改进。