－多媒体适配技术

5．3．2 MPEG－21多媒体适配技术

1．MPEG－21多媒体框架概述

随着多媒体技术的迅速发展，人们对方便地获取各种多媒体内容的需求不断增加。各种接入终端设备和网络的不断出现和发展，使得人们在接入多媒体信息系统方面有了更多的选择自由。在日常生活和工作中，人们在作为多媒体内容的消费者的同时，也越来越成为各种多媒体内容的创作者。因此，跨多种平台的多媒体内容创作和消费的解决方案成为当前多媒体应用广泛开展的迫切需要。在这一技术解决方案中，对于新兴的或传统的内容提供者来说，几个重要问题必须加以考虑和解决，包括：内容管理，基于用户偏好和设备能力的内容重新生成，权利保护，防止未通过认证的内容接入和修改，以及内容提供者和消费者的隐私保护等。为了解决这些问题，MPEG组织制定了MPEG－21多媒体框架（MPEG－21multimedia framework）标准，该标准有助于在大范围的网络和终端设备上实现透明传输和对多媒体资源的充分利用。

MPEG－21基于两个基本的概念：对于分发和交易过程中最基本单元的定义———数字项（digital item，DI）和用户（user）及其与数字项之间的交互。DI定义的是在MPEG－21多媒体框架中发生的各种行为或活动涉及的各种多媒体内容，而用户定义的则是此类行为或活动的参与者。因此，MPEG－21的目标也可以表述为：定义能以高效、透明和可互操作的方式支持用户交换、接入、使用、交易和操作DI的技术。

1）数字项

数字项是MPEG－21框架中具有标准的表达、标记和相关元数据的结构化数字对象。这个实体是框架中分发和交易的基本单元。为定义数字项，MPEG－21描述了一系列抽象术语和概念以形成一个实用的模型。在这一模型中，数字项可以是诸如某种创作过程中的产品的数字化表示，并可作为管理、描述、交换、收集等过程中的基本单元。这一模型的目的是尽可能做到灵活和通用，并规定各种高层功能的连接点（hook）。因此，该模型是建立MPEG－21框架中其他部分更高层模型的基础。

2）用户

在MPEG－21框架中，用户是指与MPEG－21框架交互或者使用数字项的任何实体。用户包括个人、消费者、社团、组织、公司和政府部门。从单纯技术的角度来说，MPEG－21认为“内容提供商”和“消费者”（consumer）之间没有分别———他们都是用户。一个单独的实体可以通过各种方式使用多媒体内容，所有在MPEG－21框架中与之交互的实体都被平等地认为是用户。然而，一个用户可以根据与其他用户的交互行为的不同来承担特定的角色、发挥不同的作用。在最基本的层次上，MPEG－21可以被看成是提供用户间交互的一个框架，而交互的对象就是数字项。

2．MPEG－21数字项适配（digital item adaptation，简称DIA）

MPEG－21的重要目标之一就是使用户能使用任何终端设备通过各自不同的网络获取网络中分布式的多媒体资源。但目前的多媒体应用中，存在多种媒体编码格式，网络状况和终端设备能力也各不相同，最初的多媒体内容并不适用于所有应用场合。因此，必须采用一定的技术对多媒体资源进行适当的调整，以适应不同的网络传输条件、终端设备处理与显示能力，满足用户的需求和偏好，这种技术即多媒体资源的适配技术。MPEG－21制定了数字项适配框架，定义和集成各种多媒体资源适配过程中所需的工具与技术，以实现跨越多种终端设备和网络对多媒体资源进行透明利用。

数字项适配结构如图5－12所示。在这一结构图中，原始的包含多媒体资源的数字项1和用来携带相关适配信息（如网络带宽、显示屏幕尺寸等）而不包含多媒体资源的数字项2被输入数字项适配引擎进行适配。该数字项适配引擎包含数字项资源适配引擎和数字项描述符适配引擎两个部分，它们分别根据数字项1或数字项2中提供的相关适配信息对数字项1中的多媒体资源和描述信息进行相应的适配操作。经过适配后的多媒体资源和描述信息最后被组合成新的数字项3。原始的数字项1或数字项2中可能还包含如标志符、权利描述等信息，如有必要，数字项适配引擎将对这些信息进行一定的调整和改变，以适应新的应用环境，并将修改后的此类信息封装在数字项3中。数字项1经过数字项适配引擎适配后产生的数字项3将能够在数字项2描述的应用环境中使用。

图5－12 数字项适配结构

MPEG－21Part 7DIA为多媒体资源的适配操作定义了一系列的支持工具，根据其功能和使用情况可以分为以下三大类。

1）应用环境描述工具（usage environment description tools）

应用环境描述工具包括用户特性、终端能力、网络特性以及自然环境特性等描述工具。终端能力具体包括终端的输入特性、输出特性，以及终端类型和规格、软件特性、硬件特性、系统特性、IPMP相关特性等；网络特性具体包括时延、差错和带宽等方面的特性；用户特性则包括用户偏好、人口统计学信息等；自然环境特性包括位置及位置类型信息、可用的接入网络信息、用户或终端的移动速度、照明对用户或终端的影响等。

2）数字项资源适配工具（digital item resource adaptation tools）

数字项资源适配工具是为数字项内包含的多媒体资源的适配过程定义的相关支持工具。它包括比特流语法描述（bitstream syntax description，BSD）工具、终端和网络服务质量工具、元数据适配性工具。比特流语法描述工具用来实现以不依赖具体媒体格式，即媒体格式独立（format－independent）的方式来进行多媒体比特流的缩放操作。尤其是当执行数字项资源适配操作的网络节点不清楚特定的多媒体资源编码格式时，比特流语法描述工具显得极其重要和有效；终端和网络服务质量工具用来描述各种约束条件（如网络可用带宽、最大允许时延），以及满足这些约束条件的可行的资源适配操作及其相应的服务质量之间的关系。它为通过权衡各种适配参数以获得最优的资源适配策略提供了一种可行的方法。元数据适配性工具则是用来降低元数据信息过滤、缩放操作及多个元数据源聚合操作的复杂性，提高数字项中元数据适配过程的执行效率。

3）数字项声明适配工具（digital item declaration adaptation tools）

与数字项资源适配工具针对的是数字项内的多媒体资源适配过程不同的是，数字项声明适配工具将数字项声明作为一个整体来考虑适配问题。它包括会话移动性工具、数字项声明配置偏好工具、数字项适配描述符消息工具等。会话移动性工具为使用数字项的会话在不同的设备上移动提供支持，即在前一种设备上使用数字项时的相关配置状态信息可以被传输到后续的设备上，使得后续设备上的数字项使用过程能以一种自适应的、无缝切换的方式继续进行；数字项声明配置偏好工具提供了根据用户需求或偏好来配置数字项声明内选项信息的机制，使得如排序或删除等操作可以应用在数字项声明的子元素上；数字项适配描述符消息工具为注册、传输、更新和删除数字项适配描述符等操作定义了标准的消息格式，使得数字项适配描述符的交换和更新等过程能以一种标准化和统一的方式进行。

3．MPEG－21数字项适配的应用研究

当前，已有的各种基于BSD的多媒体适配主要包括以下几种。①基于BSD描述JPEG 2000图像的相关编码参数，如图像尺寸、颜色分量数、质量层等，通过XSLT改变这些参数的取值，对图像比特流进行调整和适配，适应不同显示设备的显示需求。②通过通用比特流语法描述（generic bitstream description，gBSD）中提供的语义适配功能来标记MPEG－4中不同暴力级别的视频片断，根据用户特点进行相应的适配，如将不适合未成年人观看的视频片断截取掉。③基于BSDL描述MPEG－4 VTC（visual texture coding）视频流结构，通过XSLT来调整编码比特流，达到选取不同质量层的纹理区域，使3D视频内容在受限的网络和终端设备上能从较高速度传输和较好质量显示的目的。

值得指出的是，上述研究只是利用了MPEG－21DIA中定义的进行比特流描述所需的标准工具和机制，其具体比特流描述信息的生成只与其应用有关。对于如何在MPEG－21DIA中获得具体比特流描述信息的方法未予定义，因此MPEG－21DIA的使用在很大程度上仍然依赖于各种多媒体特征（如MPEG－7标准中的相关多媒体特征描述信息）的提取算法，在这方面，MPEG－7信息无疑可以作为MPEG－21DIA的有益补充。如何根据实际应用的需求和特点，提取所需的多媒体内容的相关特征信息，为适配过程提供依据和参考，无疑是今后MPEG－21DIA应用的研究重点之一，也是利用MPEG－21DIA框架实现多媒体自适应传输的重要研究课题。