二维虚拟教学场景匹配方法

3．5．3 二维虚拟教学场景匹配方法

目前虚拟摄影中使用比较多的前后景匹配方式是图形识别方式和传感器方式，但是图形识别方式需要购买专门的图像采集卡来获取当前图像帧并进行分析，还需要用到复杂的图像变换与计算，增加了系统开销，还会产生很长的延时，而传感器方式所需硬件也过于昂贵。因此，高质量教育数字媒体内容制作系统利用摄像机控制和虚拟背景控制模块，以同时控制摄像机与虚拟背景，实时获取PTZ摄像机相关参数的方式来实现前景与背景的匹配。该匹配算法不需要额外的视频采集卡、传感器等硬件，避开了烦琐的图像处理方式，并在设计过程中综合考虑了人眼视觉特性（human visual properties）及视觉美学等因素，可取得较好的效果。

1．摄像机运动时的二维虚拟教学场景匹配算法

要取得虚拟背景与前景之间逼真的联动效果，避免产生飘移现象，必须推导出图片运动速度与当前摄像机参数之间的关系，使其与摄像机运动的速度精确对应起来。图3－25为摄像机角速度与虚拟背景在现实中的速度对应示意图。

图3－25 摄像机角速度与虚拟背景在现实中的速度对应示意图

在图3－25中，摄像机角速度θ为固定已知量；半径r为摄像机与蓝箱墙面的距离，由具体的蓝箱而定，也可以认为是已知的固定值；虚拟背景运动速度v近似取为弧长。由弧长计算公式可得：

但是，此公式计算出来的背景速度v是现实中的蓝箱墙面的速度，并不能直接拿来使用，还需利用摄像机成像原理进行换算，换算关系如图3－26所示。

图3－26 背景速度转换图

图3－26中的f为当前摄像机的焦距，可向摄像机实时发送命令读出。公式（3－1）中的v在这里作为物体高度｜EF｜，摄像机与蓝箱墙面的距离为物距r，所成的像的高度v′（即｜CD｜）为转化后的背景速度（由于虚拟摄影中所有的物距都在两倍焦距外，所以在这里不考虑一倍焦距内以及一倍焦距与两倍焦距之间的成像原理）。则由图3－26可推导出新的背景速度v′：

由△BAO∽△BDC可得：

由△OEF∽△ODC可得：

联立式（3－2）与式（3－3）可得：

此处计算出的单位为m／s，还需乘以一个系数μ转化为显示设备像素单位，才能在实际系统中应用。则最终以像素／秒为速度单位的虚拟背景速度v″的计算公式为：

将式（3－1）代入得：

要得到系数μ，可先取一个固定的焦距值，多次测算出该焦距对应的v″值，再通过式（3－6）计算出来。

由式（3－6）计算出的图像速度v″的单位为像素／秒，表示的是图像被显示部分在某个方向上的改变量。要在显示设备上将这种变化显示出来，须以一定的时间间隔对其进行重绘。根据人眼视觉惰性的相关讨论，换幅间隔必须小于50ms，但不能过小，同时考虑普通电脑的CPU及显卡的速度，换幅间隔应尽量取一个较大值，经过多次实验分析，取经验值45ms为换幅间隔，能取得较为满意的效果。

2．摄像机惯性运动模拟和补偿

当摄像机在某个方向上停止运动时，它由于机械惯性而做匀减速运动，所在背景图片也应该做匀减速运动才能与之匹配；同时由人眼视觉特性分析，背景图片也应该匀减速停止以符合视觉审美要求。所以在每次前景与背景绑定运动即将停止时，应该设置背景图片做匀减速运动直至停止，而不是突然将速度降为零。

3．摄像机变焦时的虚拟场景匹配算法

对于摄像机焦距放缩的前背景匹配比较简单，因为虚拟背景本身就有一个视觉远近参数，再加上人眼对放缩的敏感度不如对移动的敏感度高，所以只需针对每一个变焦速度设置一个相应的图片放缩速度即可。需要注意的是，虚拟背景的放缩要严格依照比例来进行，若系统最终输出窗口大小为800×600，则在进行背景放缩时要保持800

600≈1．33的比值不变，才不至于使背景变形失真。

4．二维虚拟教学场景匹配模块实现

图3－27为低成本虚拟摄影棚系统的二维匹配部分软件界面图，系统支持二维图片和视频背景，具有三种控制模式可供选择。

图3－27 二维场景匹配部分界面

1）摄像机调整模式

当调整选项选择为摄像机调整时，可以对摄像机以指定速度进行上、下、左、右、左上、左下、右上、右下8个方位及变焦的调整，但虚拟背景位置和大小不变。

2）虚拟背景调整模式

当调整选项选择为背景调整时，可以对二维背景以指定速度进行8个方位及变焦的调整，但摄像机本身不动。

3）绑定调整模式

当调整选项选择为绑定调整时，可以对摄像机及二维背景进行联动调整，即在调整摄像机时，根据二维虚拟场景匹配算法对虚拟场景进行相应的调整。

5．场景匹配效果分析

为了检测二维匹配算法的实际效果，我们进行了两组实验，随意选择了一张普通图片类型的虚拟场景，分别进行前景人物与虚拟背景的匹配平移及放缩，具体效果如图3－28和图3－29所示。

图3－28 二维虚拟场景匹配效果示例1

图3－29 二维虚拟场景匹配效果示例2

在图3－28中，除了茶杯、桌子、报纸是实物以外，其余的都是由3DS MAX建模渲染的虚拟图片背景。其中，（a）图为初始位置，（b）图为摄像机向左移到一定位置时前景与背景匹配运动的结果，（c）图为摄像机焦距变大时的匹配结果。从图3－28中我们可以看出，该示例中前景与背景的摇移、聚散焦功能也能进行较好的匹配。

在图3－29中，（a）图为原始图像，（b）图为前景人物与虚拟背景匹配后一起右移的结果。通过（b）图与（a）图的对比可以看出，虚拟背景与人物一直是保持锁定的、相对静止的关系，当摄像机向右摇移时，前景人物在摄像机中的位置发生改变，虚拟背景中原本左边的茶壶等物品移出了摄像机的视野，而出现了原始图像中没有的立柜等物品，虚拟背景的变化符合实景拍摄中的情况，而虚拟背景与前景人物的锁定也不存在漂移现象。（c）图是相对于（a）图的位置摄像机变焦的情况，也可以看到虚拟背景与前景人物同时放大了，虚拟背景的上下左右边缘已经因为放大而移出了摄像机的视野范围。摄像机俯仰运动的效果，与摇移的效果相同。此外，可以在此基础上，加上一层FG2前景，取得虚拟遮挡效果。

由上述分析可知，本系统设计二维虚拟教学场景匹配算法，实现简单且基本没有延时，具有很高的处理效率，在设计时综合考虑了人眼视觉的某些相关特性，能够取得符合视觉美学规则的较好的匹配效果。