双目立体视觉

24.4.2 双目立体视觉

大多数脊椎动物具有两只眼睛。在失去一只眼睛的情况下，这是一种有益的冗余，不过除此之外还有一些其它方面的好处。多数被捕食动物的眼睛长在头的两侧，使它们具有更宽阔的视野。而捕食动物的眼睛则长在前面，使它们能够利用双目立体视觉。这里的思想与运动视差非常相似，唯一不同的是我们不再利用处于不同时刻的图像，而是利用了两幅（或更多）不同空间视角下的图像，就像一双直视前方的人类眼睛所提供的两幅图像那样。因为场景中的一个给定特征相对于每个图像平面的 z轴的位置是不同的，所以当我们把两幅图像重叠在一起时，两幅图像中的图像特征位置将会出现视差（disparity）。你可以在图24.10中看到这一点，金字塔状物体离我们最近的那一点在右边图像中移到了左边，而在左边图像中移到了右边。

图24.10 立体视觉的概念：不同的照相机位置导致同一个三维场景的不同二维视图存在微小的差异

让我们来求视差与深度之间的几何关系。首先，我们考虑双目（或两个照相机）直视前方，即两光轴彼此平行的情况。此时右侧照相机与左侧照相机之间的关系相当于沿 x 轴平移了一段距离 b，称为基线。假设Tx= b /Δt且Ty= Tz= 0，我们可以用前一节中的光流方程计算水平和竖直视差H = vxΔt， V = vyΔt。这里旋转参数ωx，ωy和ωz为零。得到H = b / Z，V = 0。用语言表述，即水平视差等于基线与深度之比，而竖直视差等于零。

人们通常看东西时会集中视线。也就是说，两眼的光轴交汇于场景中的某一点。图 24.11 显示了两只眼睛注视着点P0的情况，它到两眼连线中点距离为Z。为方便起见，我们计算角度视差，其单位是弧度。在注视点P0的视差为零。对于在距离再远δ Z处的另外某点P，我们能够计算出P在左右两幅图像上的角度偏移，分别称为PL和PR。如果左右两边各相对P0偏移了一个角度 δθ/ 2，那么PL和PR之间的偏差，也就是P的视差，恰好等于δθ。由简单的几何关系，我们得到

对于人类，b（基线长度）约等于6cm。设Z大约是100cm。那么最小可分辨的δ θ（对应于像素尺寸）弧度值在5s左右，由此给出δ Z的值约为0.4mm。若Z = 30cm，我们得到非常小的值δ Z = 0.036mm。也就是说，在距离为30cm时，人眼能够分辨小到0.036mm的深度变化，使得我们能够做穿针引线这样的事。

图24.11 立体视觉中视差和深度的关系