基于反向－模型的车辆遮挡分割

车辆长时间遮挡是车辆跟踪中普遍存在的问题，如不对长时间遮挡的车辆进行分离将会直接影响着跟踪的精度，因此对长时间的车辆遮挡进行跟踪是目前计算机图像处理研究中的关键问题。车辆遮挡的解决办法通常随着车辆跟踪的算法的不同而采用不同的方法。双目的车辆跟踪多采用摄像机融合技术来解决车辆的遮挡问题，该方法很大程度上依赖于两个摄像机的相对位置，模型参数的估计也是比较复杂的问题。通过双目视觉判断监控区域物体的远近也可以用来解决车辆的遮挡。基于卡尔曼滤波的车辆跟踪方法多采用卡尔曼滤波来预测车辆下一时刻的位置来减小遮挡的影响，一般采用运动目标的三维模型对其进行检测，基于车辆轮廓的方法可以通过对运动目标的部分匹配来确定车辆的位置，从而减小遮挡的影响。基于特征的方法一般是通过对特征点的匹配，删除或者增加来解决车辆的遮挡问题。贝叶斯和贝叶斯网络通过先验概率和后验概率来解决车辆遮挡情况下的跟踪。通过熵的变化或者投票等方法可用来对车辆的遮挡进行检测，能识别出遮挡车辆，提高遮挡情况下车辆跟踪的成功率。这些方法在遮挡不太严重的情况下可以表现出一定的效果，但是在遮挡严重的情况下跟踪的准确率仍然不佳。

在道路上，用相机拍到的图像大部分都是低角度图像，并且它们中的大部分图像还是前视图图像。因此，为了建立一种适用于实际情况下的交通监控系统，有必要采用ST－MRF模型去处理低角度和前视图图像。然而，由于这些图像中车辆之间的遮挡导致用ST－MRF模型无法被成功追踪。

在前视图中，遮挡情况将占据较长一段时间，直到在摄像机下才能把遮挡的车辆分开。在前视图的图像中，相互遮挡的车辆几乎以相同的运动矢量移动。为了解决这些问题，有必要通过累积图像以及连续图像使用全局优化，这种方法是通过观察跟踪对应的时空图像的基本原理，且改进后的算法同样适用在其他视角的图像中。

1．反向沿着时间轴运用ST－MRF累积图像

为了解决车辆之间的遮挡问题，反向沿着时间轴运用ST－MRF模型将有效，称这种方法为反向ST－MRF。因为，时空图像沿着时间轴是对称分布的。反向ST－MRF模型能将遮挡的图像倒退到前一帧把每一辆车都分隔开。事实上，有很多图像沿着它们相对应的目标地图而被累积，ST－MRF被运用到累积的时空图像中并倒退到前一帧与目标地图重叠。

当集群被背景图像分开时，ST－MRF模型反向沿着时间轴而被运用。当车辆的遮挡倒退到前一帧时，运用ST－MRF模型能将车辆单独分割开。当然，车辆反向沿着时间轴移动的行为是已知的，如果不是这样的话，大概一半的车辆将不能在低角度和前视角前分离。

若使用前面讲过的原始的ST－MRF模型对运动矢量进行优化将会失败。这是因为属于一个集群的块重叠到相邻的目标地图中，要通过参照另一个集群中的典型运动矢量，然而，当一个集群中包含2～3辆车时，这种重叠方法将会导致跟踪失败。具体如图3．16（a）所示：在时刻t－1时，两辆车都在集群1中，此时集群1被遮挡在集群2的后面，集群2和集群1非常接近。在时刻t时，车辆2慢慢地脱离车辆1朝车辆3移动，最后在时刻t＋1时，车辆2完全脱离车辆1，并遮挡车辆3。如果仅仅使用原始的ST－MRF模型，不能识别出在集群1中有2辆车。之所以会失败，是因为包含车辆1和车辆2的集群的典型运动矢量被定义为与车辆1的典型运动矢量是一致的。但实际上，车辆2的典型运动矢量跟车辆1是不一致的。所以当仅仅使用原始的ST－MRF时，通过参照与车辆1的典型运动矢量相一致的集群的典型运动矢量，这时属于车辆2的块被重叠。因此，包含车辆2的块将逐渐融入集群1中，这种现象在低视角图像和前视图图像中经常出现。

图3．16 运动矢量的最优化

2．运动矢量的最优化

因此，从上面失败的例中可以得出这样一种结论：每一个块的重叠不是通过参照集群的典型运动矢量，而是参照包含在集群里的块的运动矢量特性。如图3．16（b）所示，称这样一组具有块的运动矢量特性为单独的运动矢量。通过参照每一个单独的运动矢量重叠的每一个块，集群1的边界的划分将根据车辆2脱离车辆1适当的延伸，然后，车辆1和车辆2被背景图像分开。

然而，所有块的运动矢量由于具有较差的纹理而不能被预期地估计出来，只能通过块的匹配，才能估计出来。在集群中决定适当的边界时这些问题才会出现。所以，为了优化车辆的边界，通过参照相邻块的运动矢量而优化各个单独块的运动矢量是有效的。这种情况可以定义为能量函数如公式3．19。

公式（3－19）表示相邻的块彼此具有相似的运动矢量。在公式中，和分别代表块Ck和它的相邻块Bk的运动矢量。估计出来的总和将超过块Bk，块Bk具有相同的标号Ck。

在这个算法中，每一个块通过参照本身的运动矢量而不是集群的典型的运动矢量重叠到相邻的目标块中。为了确定标号，算法对能量函数最小化为：公式（３－２０）中第一部分表示在目标地图中，标号的相邻关系，第二部分表示在连续目标地图中的标号的遮挡关系，第三部分表示与运动矢量有关的连续图像中的纹理关系，第四部分表示在运动矢量地图中的运动矢量的相邻关系。Ｕ（ｙｋ）被定义为ｔ时刻ＳＴ－ＭＲＦ的能量函数；Ｕ）和是通过参照属于集群的块的典型运动矢量而估计得到；Ｕｍｖ［Ｃｋ（ｔ－１）］通过使用ｔ－１时刻的运动矢量而估计得到；Ｃｋ（ｔ－１）代表Ｃｋ（ｔ）的原始块；表示Ｃｋ具有相同标号Ｃｋ（ｔ－１）的相邻块的数目。

3．融合不完整的分割部分

尽管前面已经介绍过了最优化过程，但是车辆的边界分割还是比较模糊的。这是因为属于不同车辆的块具有相似的运动矢量。比如：车辆1接近并遮挡车辆2，这时车辆的边界分割就变得越来越模糊，这是因为车辆1的边界区域会包含一些属于车辆2的块。只有当车辆1完全脱离车辆2时，车辆1的边界才会被背景图像分割为两部分，这时将会出现属于车辆2的不完整的部分。另外一种情况是：包含车辆1和车辆3的集群接近并遮挡车辆2，然后，车辆1脱离车辆3。在这种情况下，应该有3种分割区域。

因此，通过反向ST－MRF模型的过度分割后，适当的分割区域应当由后验概率决定。为了定量检测车辆2和车辆3是否有可能融入一个集群，可通过下面的公式判断：

式中，Nconnect表示帧数，也就是车辆2和车辆3不同于背景图像通过块连接的部分；Nnoconnect表示与Nconnect相反。（ux2，vy2）和（ux3，vy3）分别代表车辆2和车辆3的运动矢量；（uxm，vym）代表融合到车辆2和车辆3的分割区域的集群的运动矢量。通过定义后验概率函数，如车辆２和车辆３的融合区域进入到一个独立的区域的概率为。总的能量函数为时，Ｐ为１，为０．５，也就是说当时，融合分割区域的发生与不发生的概率是一样的。当总的能量较大时，融合分割部分发生的概率将增加。

4．实验及结果分析本次实验采用的视频图像是在淮安市淮海南路（前进路到环城路）自拍的一段３０分钟视频录像，在该路段交通量为１ ５００辆／ｈ，帧频为１０帧／ｓ，每帧图像大小为７２０×６４０。在本次实验中有５４帧图像和５４个目标图像发生了遮挡。由于图像是以１０帧／ｓ的速度被捕获，那么５４帧图像只需要５．４ｓ。本实验主要目的是使用本文提出的原始ＳＴ－ＭＲＦ算法、反向ＳＴ－ＭＲＦ算法（注意：其中反向ＳＴ－ＭＲＦ算法在原始ＳＴ－ＭＲＦ算法上进行改进的）对车辆跟踪结果进行比较。一般车辆从出现在检测区域到摄像机正下方大约需要５ｓ，因此，运用反向ＳＴ－ＭＲＦ算法，大部分的车辆都能被跟踪到。通过实验标定式（３－２０）中参数指标为：ａ＝１／２，ｂ＝１／２５６，ｃ＝３２／１ ０００ ０００，ｆ＝１／４，μＭｘｙ＝０。

图3．17所示为使用ST－MRF算法与方向ST－MRF算法对视频图像的跟踪结果比较。图3．17（a）是使用ST－MRF算法的跟踪结果，此算法对某些离得很近的车辆漏检，如第350帧ID号为“002”和“004”和第486帧图像ID号标为“025”和“027”的车辆。这是因为ST－MRF没有对运动矢量进行最优化处理和分割部分的融合处理导致集群的边界模糊。每个块的运动矢量与代表集群的运动矢量是有区别的。结果这些块被误认为属于相邻的集群。因此，评价关于模糊边界的块的目标地图将涉及它们自身的运动矢量，这些运动矢量将沿着时间轴前进。经过一段时间后，包括2辆车或更多车辆的集群将在某一图像帧分开。所以图3．17（a）被识别的车辆数不准确，本该有2辆车的地方将被误认为只有1辆车。而在图3．17（b）中，通过使用方向ST－MRF算法将遮挡的图像倒退到前一帧把车辆分开。图3．17（b）中被识别的车辆比较准确。

本次实验拍摄的视频，有621辆车经过，92辆车被遮挡，用ST－MRF算法跟踪统计到的车辆数为540辆，成功率为87％，用方向ST－MRF算法跟踪统计到车辆数为607辆，成功率为98％。

图3．17 二种分割方法比较对比图