虚拟世界的感知设备

如前所述，为了使置身于虚拟世界中的人产生身临其境的感受，必须为用户提供各种“真实”的感觉。人主要依靠视觉、听觉、触觉、力觉、味觉、嗅觉等多种途径感知世界，然而，目前虚拟世界能为用户提供的成熟或相对成熟的感知信息，仅有视觉、听觉和触觉（力觉）三种。虚拟世界的感知设备的职责就在于为用户提供人能感受到的视觉、听觉和触觉信息，这意味着虚拟世界的感知设备需要将各种计算机生成的感知信号转变为人能接收的多通道刺激信号，其中的难点在于刺激的真实性和实时性。

1.视觉感知设备

视觉感知设备旨在为用户提供立体、宽广而且实时变化的场景视野。由于人从外界获取的信息有80%～90%来自视觉，因此视觉感知设备的优劣直接决定了用户的体验。人的双眼有6～7 cm的距离（瞳距），在观察物体时，左、右眼会分别产生一个稍有不同的图像（视差），大脑通过分析会把两幅图像融合为一幅画面，并获得距离和深度的感觉。这就是人眼立体视觉效应的原理。

视觉传感设备生成立体图的过程与此类似，它通过计算机模拟人眼视觉，计算生成具有一定视差的图像。用户佩戴立体眼镜等设备时，左右眼分别看到与之相应的图像，从而恢复场景中的三维深度信息。视觉传感设备按显示模式主要可分为台式立体显示系统、头盔式显示器、吊杆式显示器、洞穴式立体显示装置、墙式立体显示装置、全息立体投影及全息影像等。如果按立体眼镜区分左右眼图像的原理，又可分为依靠颜色过滤产生立体效果的红蓝眼镜、依靠镜片过滤不同偏振方向的图像光波产生立体效果的偏振眼镜，以及依靠眼镜左右镜片交替接受图像产生立体效果的分时眼镜。

（1）台式立体显示系统

我们最早在电脑上观看三维电影时需要佩戴红绿镜片的眼镜，两眼通过镜片接受的不同波长的画面，经过大脑的处理，就形成了带有景深信息的立体影像。与此类似，目前常见的台式立体显示系统由立体显示器和立体眼镜组成，其中代表有如图8-10所示的液晶光闸眼镜。

图8-10 液晶光闸眼镜

液晶光闸眼镜是一种用于观察三维模拟场景虚拟现实效果的装置。在使用过程中，计算机分别生成左右眼不同的两幅图像，经过合成处理后，采用分时交替的方式将其显示于屏幕上。用户佩戴的液晶光闸眼镜与计算机相连，镜片在电信号控制下，将以图像显示同步的速率交替开闭，即当计算机显示左眼图像时，右眼镜片被遮蔽；显示右眼图像时，左眼镜片被遮蔽。根据双目视差与深度距离的正比关系，人的视觉系统能够自动将两幅视差图像融合成一幅立体图像。

液晶光闸眼镜系统根据配置的显示屏幕可分为台式终端系统和大屏幕投影系统，其中，台式终端-液晶光闸眼镜系统价格低廉，是目前最为流行和经济的三维立体显示设备之一。但由于这种眼镜系统的两眼镜片不同时开闭，其图像的亮度没有普通屏幕的好，而且沉浸感较差，因此只被应用于桌面虚拟现实系统或一些多用户环境。

总体来说，台式立体显示装置具有成本低的优势，也有屏幕大小及交互方式的限制以及单用户、非沉浸式的缺点，因此它并不适合多用户协同工作方式。

（2）头盔式显示器

头盔式显示器（Head Mounted Display，HMD）是虚拟现实系统中普遍采用的一种立体显示设备。虽然头盔上也配有眼镜等图像显示系统，但是与上一节介绍的被动接受型立体眼镜不同，用户可通过头盔式显示器中的眼镜直接观察立体影像而不需再面对其他屏幕，这一设计将用户从固定座位中解放出来，极大地提高了用户的行动自由度。

头盔式显示器通常通过机械的方法固定在头部，头与头盔之间不能有相对运动。头盔通常由两个LCD或CRT显示器向左右眼分别提供图像，这两个图像由计算机分别驱动，显示图像间存在着类似“双眼视差”的微小差别，大脑可将两幅图像融合以获取深度信息，从而得到一个立体图像。另外，头盔式显示器与台式显示屏+立体眼镜最主要的差别在于头盔上配置了空间位置跟踪定位设备，它能实时检测出头部的位置和朝向。通过计算机的计算，虚拟现实系统能在头盔显示屏上显示出相应的当前位置场景图像。

我们在实际生活中经常处于头部不动、眼球随目标运动而转动的状态，这也对头盔式显示器提出了新的要求，即如何捕捉人眼的运动和朝向。目前，我们所说的头盔式显示器的用户定位不仅包括头部的定位，还包括眼球的定位。头部定位主要提供用户头部位置和朝向等六个自由度的信息，可通过电磁波、红外、超声波等方式实现；眼球的定位主要用于瞄准系统，一般通过红外图像的识别、处理和跟踪来获得眼球的运动信息。灵敏度高和延迟小是定位传感系统设计时需要满足的要求。

如图8-11所示，头盔式显示器通常应用于沉浸式虚拟现实系统和增强式虚拟现实系统中。与立体眼镜等显示设备相比，头盔式显示器沉浸感较好，而且用户行动自如，但其缺点是价格高昂。总体来说，头盔式显示器作为一种单用户沉浸的显示器，存在设备过重（部分产品达15～20 kg）、分辨率较低、刷新频率较慢、离屏幕过近容易使眼睛疲劳等缺点。

图8-11 头盔式显示器

（a）用于虚拟现实的头盔式显示器；（b）用于增强现实的头盔式显示器

（3）吊杆式显示器

由于早期的头盔式显示器HMD存在设备过重等缺点，1991年伊利诺伊大学的Defanti和Sandin提出了一种改进的沉浸式虚拟现实系统——BOOM（Binocular Omni-Orientation Monitor，吊杆式显示器）。如图8-12所示，吊杆式显示器由两个互相垂直的可自由移动的机械臂支撑，形如双目望远镜。这种设计不仅能让用户在半径约2 m的球面空间内自由移动，而且能将显示器的重量巧妙地通过平衡架转移，因此，无论用户怎样移动显示器，都能始终保持自身平衡。另外，支撑臂上的每个节点处都装载了空间位置跟踪定位设备，因此BOOM能提供高分辨率、高质量的影像，同时不会对用户产生重量方面的负担。

图8-12 吊杆式显示器

与头盔式显示器HMD相比，BOOM具有和HMD一样的实时观测和交互能力，另外，BOOM通过计算机械臂节点角度的变化来实现位置及方向的跟踪，因此延迟小，且不受磁场及超声波背景噪声的影响。显示效果方面，BOOM采用的CRT显示器（阴极射线显像管，常见于早期电脑显示器）分辨率高于早期的HMD。

吊杆式显示器的缺点在于使用者的运动受限，这是由于其工作中心的支撑架造成了“死区”，因此BOOM的工作区要除去中心约0.5 m2的空间范围。另外，BOOM的观察方式使其具有灵活而方便的应用特点，只是沉浸感稍差，用户只要把头从观测点转开，就能离开虚拟环境而进入现实世界。

（4）洞穴式立体显示装置

随着虚拟现实技术的发展，用户不再满足于仅为单人服务且需要佩戴各种辅助设备的头盔式显示器或吊杆式显示器。可供多用户同时体验的洞穴式立体显示装置（CAVE）随之走入人们的视野。CAVE是一套基于高端计算机的房间式立体投影显示系统，主要包括专业虚拟现实工作站、多通道立体投影系统、虚拟现实多通道立体投影软件系统、房间式立体成像系统四部分，它通过融合高分辨率的立体投影技术、三维计算机图形技术、音响技术、传感器技术，产生一个供多人使用的完全沉浸型虚拟环境。

如图8-13所示，洞穴外形类似立方体的小房间，房间外侧的投影仪和反射镜将转换后的立体图像投射至房间的墙壁上，按显示屏幕的数量可分为4面CAVE、5面CAVE和6面CAVE。站在房间内的4～5名用户可通过佩戴有线或无线立体眼镜，沉浸在类似立体环幕电影的虚拟世界中。

图8-13 洞穴式立体显示装置

洞穴式立体显示系统可用于多种模拟与仿真、游戏等。从1997年通用公司推出虚拟现实中心开始，美国、日本和欧洲的汽车行业都将投影墙与CAVE结合，广泛用于评估驾驶员视角、评价车体内部、模拟部分组件的设计和装配过程。

CAVE提供了可供多人参与的高级虚拟仿真环境，其装备的高分辨率三维立体视听系统允许多个用户同时沉浸于虚拟世界中，然而洞穴式立体显示系统也存在价格高昂、体积较大和对使用的计算机图形处理能力要求较高等缺陷。高昂的成本使该技术主要用于大型公司、高校及科研机构，而尚未向个人化、微型化普及。

（5）墙式立体显示装置

上述几种视觉显示系统都只能供单人或几个用户使用，而墙式立体显示装置则可以满足多人同时参与同一个虚拟世界的需求。墙式立体显示装置由大屏幕投影显示设备连缀而成，这是因为一个大屏幕投影立体显示装置的最大投影面积为6 m×5 m，为保证屏幕亮度不下降，对于需要较大显示面积的场合，一般采用多台投影仪组合，构成显示面积更大的墙式立体显示装置或墙式全景立体显示装置。

如图8-14所示，墙式全景立体显示装置分为平面式和曲面式两种，显示屏的面积等于几个投影系统的总和。其中，曲面式全景立体显示系统又称环幕投影系统，包围观众的环形投影屏配合环绕立体声系统，能使人产生高度沉浸感。目前，墙式全景立体显示系统广泛应用于广告传媒、展览展示、工业仿真、军事仿真、影视娱乐等行业。

图8-14 墙式立体显示装置

（a）实物图；（b）原理图

该技术相较于头盔式显示器或仅供少数人使用的CAVE系统等单人沉浸系统，虽然沉浸感稍显不足，但显示墙作为多人沉浸系统，随着显示技术、多媒体技术的发展，能够在多人体验和单人沉浸感中做到较好的平衡和折中，性价比较高。

（6）全息立体投影及全息影像

以上介绍的立体成像技术都是通过计算机制造类似人眼视差的左右眼视图，再通过立体眼镜等显示设备，向观众呈现一个虚拟的立体世界。然而在科幻小说中，我们经常看到向空气中投影，形成一个存在于真实空间中的立体虚影的情节。如今随着计算机图形技术、现实技术、光电成像技术等领域的科技发展，这种超现实的设想开始逐步成为现实。

如图8-15（a）、（b）所示，科学家利用干涉与衍射原理，通过投影设备将不同角度的影像投影至一种特殊的全息膜上，观察者不用佩戴任何辅助设备就可看到和自己所处位置一致的影像，这就是全息投影技术。

科幻小说中的全息影像概念与此不同，立体的影像不再局限于立体屏幕，而是投射在空气中，观察者可以从不同角度不受限制地观看，甚至可以走进影像内部。该技术目前尚在研究中，与之最为类似的是雾屏技术。如图8-15（c）、（d）所示，雾屏技术利用海市蜃楼的成像原理，使用超生集成雾化发生器产生大量微粒雾，通过平面雾气屏幕取代实体化的全息屏幕，再经由特制媒体流投射，从而在空气中生成虚幻立体的影像，参与者在雾气屏幕形成的立体影像中自由穿梭。随着技术的发展，也许在不久的将来，全息影像也会变成现实。

图8-15 全息立体投影与全息影像

（a）全息投影舞台原理；（b）初音全息演唱会；（c）科幻电影中的全息影像；（d）雾屏技术

2.听觉感知设备

听觉是人类仅次于视觉的第二传感通道，因此，听觉感知设备是多通道感知虚拟环境中重要的组成部分。听觉感知设备负责接收用户对虚拟环境的语音输入，同时生成虚拟世界中的三维立体声音。该设备主要由语音与音响合成设备、识别设备和声源定位设备构成，一般采用声卡来为实时多声源环境提供三维虚拟声音信号的传送功能，用户通过普通耳机就可接收这些信号并确定声音的空间位置。该设备最大的难点在于如何让用户产生错觉，认为发声处在设计者期望的某个地方。

从1988年CRE公司研制实时数字信号处理器——Convolvotron装置开始，研究者就踏上了模拟真实声学现象（包括回声等）之路。听觉感知设备经历了从同步模拟4个和8个独立点声源，模拟中等大小房间内的声学现象到模拟多声源反射途径和直接传播途径的一系列过程。

听觉感知设备是伴随着视觉感知设备的发展不断向前进步的，其功能也从简单的环绕立体声朝着模拟自然界的声学现象成长，从而不断满足日益复杂真实的虚拟现实场景建构需求。

3.触觉、力觉感知设备

触觉与力觉是人类感觉的重要通道，人们可以利用触觉和力觉反馈的信息感知世界，并进行各种交互。我们可以利用触觉和力觉信息感知虚拟世界中物体的位置，还可利用触觉和力觉操纵和移动物体完成某种任务。虚拟世界的真实与否，其中物体提供的“触摸感”自然与否占有很大的比重。

虽然我们希望能够通过手指感受虚拟世界，然而就目前的技术水平，主流触觉反馈装置仅能提供最基础的“触到了”的感觉，无法提供表面材质、纹理、温度等细节信息。

（1）触觉反馈装置

根据触觉反馈的原理，手指触觉反馈装置可分为六类：基于视觉、电刺激式、神经肌肉刺激式、气压式、喷气式和振动式。其中，向皮肤反馈可变电脉冲的电子触觉反馈和直接刺激皮层的神经肌肉模拟反馈安全性较差，因此气压式和振动式是较为常用的触觉反馈方式。

传统气压式触觉反馈采用小气囊作为传感装置，通过手套内的小气囊的充气和放气模拟手触摸到物体时的触觉感受和受力情况。然而，该方法实现的触觉感受并不十分逼真，而且用户需要佩戴手套，略为不便。为了提供更好的触觉体验，科学家开始研究非穿戴式的触觉反馈系统，图8-16（a）为迪士尼研究中心发明的非穿戴式触觉反馈系统，该系统可根据场景的变换喷射出不同气密度与速度的气旋，用户碰触气旋时即可产生触摸感。

振动式触觉反馈系统一般采用声音线圈作为振动换能器以产生振动。其中的换能器利用形状记忆合金制成，当电流通过换能器时，换能器发生变形和弯曲，设计者把换能器做成各种形状安装在皮肤的各个位置，从而模拟出虚拟物体的质感。图8-16（b）为日本MIRAISENS公司开发的三维触觉系统，用户佩戴虚拟现实头戴系统和腕带式体验装置，通过手腕装置的振动感受虚拟世界中的物体。

图8-16 触觉反馈装置

（a）迪士尼研发喷气式触觉反馈系统；（b）MIRAISENS研发三维触觉系统

（2）力觉反馈设备

力觉反馈是指运用先进的技术手段，将虚拟物体的空间运动转变为周边物理设备的机械运动，使用户能够体验到真实的力度和方向感，该技术最早被应用于尖端医学和军事领域。相较于触觉反馈装置，力觉反馈装置的结构和功能要求稍微简单一些，因此也相对成熟。目前，力觉反馈设备主要包括：力反馈手套（图8-17（a））、力反馈操纵杆（图8-17（b））、吊挂式机械手臂、桌面六自由度游戏棒以及可独立作用于每个手指的手控力反馈装置等。其工作原理是由计算机通过力反馈系统（机械或其他力推动和刺激），对用户的手、腕、臂等产生运动阻尼，从而使用户感觉到力的大小和方向。

图8-17 力觉反馈设备

（a）力反馈手套；（b）力反馈操作杆