基于内容的多媒体知识组织法

3.3.5　基于内容的多媒体知识组织法^［39-40］

随着20世纪90年代以来多媒体技术的迅速发展，以及新的有效的多媒体编码技术的不断出现，大量的视频、音频和图像等多媒体信息将成为不可缺少的重要资源，其在生活中的应用越来越广泛。每天都在产生大量的视音频信息，使这些多媒体资料的存储、管理和再利用变得非常困难。如何有效地按照多媒体数据的特性去组织海量多媒体数据就显得至关重要。基于内容的多媒体资源组织方法便是解决这一问题的关键。

基于内容的组织是指根据媒体和媒体对象的内容特征及上下文联系对其进行组织。它突破了传统的基于文本组织方法的局限，直接对图像、视频、音频内容进行分析，抽取其语义、视觉和听觉特征，利用这些内容特征揭示媒体对象的本质。它的前提是计算机能够自动识别或理解媒体的重要特征。由此可见，基于内容的组织是涉及图像处理、模式识别、计算机视觉、图像理解等多项技术的交叉研究领域，有着广泛的应用前景。

1.多媒体对象的内容

多媒体对象的“内容”包括其含义、要旨、主题、包含和显著的性质、实质性的东西、物理细节等。对于多媒体数据来说，其内容概念可以在多个层次上描述:

●概念级内容——表达对象的语义。利用典型的文本形式的描述，通过分类和目录来组织层次浏览，用链来组织上下文关联。

●感知特性——视觉特性，如颜色、纹理、形状、轮廓、场景、运动等;听觉特性，如音高、音色、音质、音调等。

●逻辑关系——音视频对象的时间和空间关系，语义和上下文关联等。

●信号特性——通过信号处理方法获得明显的媒体区分特征，例如通过小波分析得出的媒体特征。

●特定领域的特征——与应用相关的媒体特征，例如人的面部特征、指纹特征。

2.多媒体内容的处理过程^［41］

对多媒体对象内容的分析和处理是实现基于内容组织方法的关键。其基本过程为:先对原始媒体进行处理，提取内容，然后用标准形式对它们进行描述，以支持各种内容的用户应用。

(1)内容获取

通过对各种内容的分析和处理以获得媒体内容。多媒体数据具有时空特性，内容的一个重要成分是空间和时间结构。内容的结构化就是分割出图像对象、视频的时间结构、运动对象以及这些对象之间的关系。特征抽取就是提取显著的区分特征和人的视觉、听觉方面的感知特征来表示媒体和媒体对象的性质。特征提取对于图像可以提取颜色、纹理、形状等特征。而对于视频，由于视频是动态图像，因此特征提取则有静态特征提取和动态特征提取两大类。

(2)内容描述

描述在以上过程中获取的内容。目前，MPEG7已经成为描述多媒体内容的国际标准。该标准主要采用描述子(descriptor)和描述模式(scheme)来分别描述媒体的特性及其关系(详见第9章)。