动力学和控制

25.6.1 动力学和控制

第25.2节引入了动力学状态（dynamic state）的概念，通过对机器人的速度建模，扩展了机器人的运动学状态。例如，动力学状态除了捕捉到机器人关节的角度，还捕捉到角度的变化率。一个动力学状态表示方法的转移模型包括各种力对这个变化率的影响。典型情况下，这样的模型通过微分方程进行表示，即把一个量（例如，一个运动学状态）与这个量随时间的变化（例如，速度）联系起来的方程。原则上，我们本来可以选择用动力学模型来规划机器人运动，而不是用我们的运动学模型。这种方法将会导致优异的机器人性能，如果我们能够生成规划的话。然而，动力学状态比运动学空间更加复杂，而且维数的问题将使运动规划问题对于几乎所有机器人而言都是不可操作的，除了最简单的机器人。由于这个原因，实用的机器人系统一般都依赖于简单的运动学路径规划器。

一种常见的用来改善运动模型局限性的技术是使用一种独立的机制，控制器，以使机器人保持在路线内。控制器是指利用从环境中得到的反馈实时地产生机器人控制，从而达到某种控制目标的技术。如果目标是使机器人保持在一条预先规划好的路径上，则通常将它称为参考控制器，该路径称为参考路径。使一个全局代价函数达到最优的控制器被称为最优控制器。MDP的最优策略实际上就是最优控制器。

表面上，使一个机器人保持在预先指定的路径上的问题看起来是相对直接的。然而，实际上，即使这个看起来很简单的问题也有它的隐患。图25.20（a）示意了可能的错误。其中所示的是试图沿着一条运动学路径前进的一个机器人所经过的路径。一旦发生偏差——不论是因为噪声，还是因为机器人对作用力所能应用的约束条件——机器人就提供一个相反的力，其大小与偏差量成正比。直观上，这似乎是有道理的，因为偏差将会被相反的力所补偿，从而使机器人保持在路线上。然而，如图25.20 （a）所示，我们的控制器导致了机器人路线发生相当剧烈的振荡。振荡是机械手天然惯性的结果：一旦强制回到机器人的参考位置，它就会产生过冲，这导致了一个具有相反符号的对称误差。如图25.20 （a）所示，这种过冲将会沿着完整的轨迹一直持续，所产生的机器人运动离所期望的还差得很远。显然，这里需要更好的控制。

图25.20 机械手控制，采用（a）增益因子为1.0的比例控制器，（b）增益因子为0.1的比例控制器，和（c）比例增益因子为0.3，微分分量增益因子为0.8的PD控制器。在所有这些情况下，机械手试图沿着所示灰色路径前进

为了得到一个更好的控制器，让我们对这类产生过冲的控制器进行形式化的描述。所提供的作用力与观测到的误差成负比例的控制器被称为P控制器。字母P代表比例的，指实际的控制与机器人操纵器误差成比例。更形式化一些，令y(t)为参考路径，用时间刻度t进行参数化表示。由一个P控制器所产生的控制at具有以下形式：

at=KP(y(t)−xt)

这里xt为机器人在t时刻的状态。KP是所谓的控制器增益参数，用来调节控制器对实际状态xt和期望状态 y(t)之间偏差进行纠正的强度。在我们的实验里，KP=1。初看上去，我们也许会认为选择一个比较小的KP值就可以解决这个问题。不幸的是，实际上并不是这样的。图25.20（b）显示了KP=0.1时的一条轨迹，仍然表现出振荡的行为。较低的增益参数取值只会减缓振荡，而没有解决这个问题。实际上，在没有摩擦时，P控制器本质上是一条弹簧法则，因此它将在固定的目标位置附近不断地振荡。

传统上，这种类型的问题属于控制论的研究领域，一个对于 AI 研究者来说越来越重要的领域。这个领域内几十年来的研究产生了大量比上述简单控制法则更好的控制器。特别是，如果小的扰动将导致机器人和参考信号之间的一个有界误差，那么参考控制器被称为是稳定的。如果它在这样的扰动下能够返回参考路径，那么它就被称为是严格稳定的。显然，我们的P控制器看来是稳定的，但不是严格稳定的，因为它不能返回它的参考轨迹。

在我们的领域中达到严格稳定的一种最简单的控制器被称为PD控制器。字母“P”仍然代表比例的，“D”代表导数。PD控制器由以下公式描述：

正如这个公式所表示的，PD控制器相当于P控制器加上一个微分项，它给at的值增加了一个与误差y(t)−xt对时间的一阶导数成正比的项。这个项的效果是什么？总的来说，一个导数项抑制了受到控制的系统。为了证明这一点，考虑误差(y(t)−xt)随时间迅速变化的情况，如在我们前面的P控制器的例子中的情况。于是这个误差的导数将会反作用于比例项，从而减小对扰动的总体响应。然而，如果同样的误差持续不变，导数将会消失，比例项将主导对控制的选择。

图25.20（c）显示了将这个PD控制器应用于我们的机械手的结果，其中使用的增益参数为KP=0.3，以及KD=0.8。显然，所得到的路径非常光滑，没有显示出任何明显的振荡。这个例子说明了，一个微分项能够使原来不稳定的控制器变得稳定。

在实际应用中，PD控制器还有失败模式。具体地说，PD控制器有可能没有将一个误差调节到零，即使在不存在外部扰动的情况下。这在我们的机器人例子里面是不明显的，但是有时候需要一个超过比例的反馈将误差减小到零。为了解决这个问题，需要在控制法则中加入基于误差在时间上的积分的第3项：

这里KI是另外一个增益参数。项计算误差对时间的积分。这一项的作用是修正参考信号与实际状态之间的长时间偏差。例如，如果xt在长时间内小于y(t)，那么这个积分将不断增长，直到所得到的控制at迫使该误差缩小。于是，积分项保证了控制器不表现出系统误差，其代价是增加了产生振荡行为的风险。一个具有全部3项的控制器称为PID控制器。PID控制器被广泛应用于工业中的各种控制问题。