基于语义的图像标注子系统

9.3.4　基于语义的图像标注子系统

用户在进行图像检索时，倾向于根据图像的含义，而不是颜色、纹理等特征，直观地进行分类并判别图像满足自己的需要程度。因此，语义图像检索是更合理的图像检索方式。一个图像检索系统的用户会对系统提出什么样的查询请求，以及它如何判断检索结果的有用性，对于如何来表达图像内容至关重要。为了解决这一问题，人们提出了面向对象的图像模型。在该模型中，图像整体作为对象，本身包含各种属性和特征，组成图像的各个部分，又可以看成独立的对象，也具有自身的属性和特征;同时，这些对象之间也具有一定的关系，所有这些属性和关系，就构成了完整的图像描述。

在MDS描述工具中，结构描述工具和语义描述工具分别从结构上和语义上对多媒体内容进行了描述。结构描述工具表示了多媒体数据的结构，如时间、空间和一些由多媒体数据段描述的媒体源。语义描述工具表示了现实世界或由位于现实世界中的语义实体所描述的媒体数据，例如对象、代理对象、事件、概念、语义状态、语义空间、语义时间、属性和语义实体的关系。

IBM VideoAnnEx是由IBM AlphaWorks工作组发布的一个MPEG-7标注工具，它用MPEG-7元数据辅助标注视频流，视频流中的每一个镜头都能通过静态场景描述符、关键对象描述、事件描述符和其他字典集标注。与每个视频镜头相关的描述符都可以作为MPEG-7描述符存储在XML文件中。该工具还允许用户定制描述字典，以对其创建、保存和更新。IBM VideoAnnex工具把MPEG视频流作为要求的输入源，同时还要求一个相应的镜头分割文件，该文件通过检测场景剪切、融合和褪色等把输入的视频流分割为更小的称之为视频镜头的单元。当该工具在一段视频上完成镜头检测之后，镜头文件能被存在MPEG方案中供以后使用。

本系统采用MPEG-7描述标准及有关描述工具标注图像的语义元素。

1.图像语义标注模型

系统模型设计主要是进行语义元数据和标注模型定义。

作为一个图像语义标注系统，要确保语义标注的准确性和一致性，首先要进行语义元数据定义，确定标注模型，在MPEG-7标准中，用于内容检索的多媒体数据描述包括以下几个域:

存储媒体的描述:文件和代码格式、图像大小、图像率、声音质量等;

创建信息的描述:创建数据、位置、标题;

内容语义描述:内容摘要、对象、事件、场景等;

内容结构描述:带有颜色、纹理、形状及运动特征的镜头和关键帧;

关于描述的原数据:作者、版本等。

根据MPEG-7多媒体描述方案，该系统定义了如下语义标注模型，如图9-11所示。

图9-11　图像语义标注模型

在该模型中，系统主要对图像进行以下两种标注:

●图像媒体标注:我们在该部分定义的标注元数据有图像大小、图像格式、文件路径、作者和创建日期。

●图像语义标注:该部分分为对象、事件、语义关系三个部分。对象指的是图像中可识别的有意义的事物，在对象标注中，我们定义的元数据有对象识别号、对象名、自由文本标注等。事件指的是发生在现实世界中的某一时空域中一个或多个对象的动态关系。在事件标注中，定义了事件识别号、事件名、语义发生时间、语义发生地点等元数据。语义关系指的是在事件中对象之间的关系，在语义关系标注中，定义了源对象、目标对象、关系类型等几类。由于对客观世界描述的不尽详细，我们允许用户以自由文本标注的方式对图像中的某一对象、事件进行详细和个性化的描述。

上述模型的定义符合MPEG7-2001.xsd的要求，使该系统的图像标注以XML文档进行保存，方便图像检索系统进行查询。

2.图像标注系统设计

图像标注系统框图如图9-12所示。

图9-12　图像标注系统设计框图

在本系统中，将程序主界面分为两部分，左半边为图像显示区，显示载入的图像，并对它进行处理，右半边为图像标注区，对载入的图像进行标注。在图像标注区，建立了媒体标注面板和语义标注面板。

(1)媒体标注面板:该面板以属性框的方式供用户对图像媒体内容进行标注。根据定义的媒体元数据，该属性框提供的媒体属性有:图像名称、图像大小、图像格式、文件路径、作者和创建日期，用户可以通过填写属性值的方式进行标注。该面板底部有自由文本标注栏和保存按钮。自由文本标注文本域供用户进行自由文本标注，保存按钮可将标注的值存入XML文档中。

(2)语义标注面板:该面板又包含一个有三个标签的面板，分别为对象、事件和语义关系。当选择对象面板时，系统提示选择对象，用系统提供的方形选择工具选择对象并填写对象识别号(ID)后，选定的对象被蓝色方框包围。这时通过填写属性框的值可对选定对象进行标注。同样，用户可在自由文本标注框中进行详细的描述。按下写入语义树按钮后，对象标注值被存入XML树中。重复以上过程可对其他对象进行标注。事件面板提供了对图像事件的描述，该面板的描述属性值有:事件识别号、名称、语义时间和语义地点，同时也可进行自由文本标注。同理，在语义关系面板中，用户可根据已经标注的对象选择源对象和目标对象。在关系框中输入语义关系标注。在这三个面板的标注完成后，用户可通过单击保存按钮把标注的语义树值存入XML文档中。

3.功能展示

从功能上讲，该系统具备以下功能:

●载入jpeg/gif图像文件;

●打开标注的XML文件;

●保存标注的XML文件;

●图像语义标注;

●图像的处理;

●对象区域选择。

下面用一个典型的标注实例来展示本系统的使用。

(1)图像媒体标注

用户首先在文件菜单中选取打开图像文件菜单项，从弹出的文件对话框中选取一幅要标注的图像，然后打开一个要写入的XML文件。在媒体标注面板中依次在属性表中填入该图像的媒体属性，然后在自由文本区域内填写对该图像的自由描述。最后单击保存按钮，填入的属性就被写入到指定的XML文档中。其结果如图9-13所示。

图9-13　图像媒体标注界面

(2)图像语义标注

完成媒体标注后，用户单击语义标注面板可进入语义标注界面，首先进行事件标注，在该面板中需要填写的内容有:事件识别号、事件名、自由文本标注、语义发生时间、语义发生地点等。输入完毕后，单击写入语义树按钮，输入内容被写入XML语义树中。然后进行对象标注，在标注菜单下选择对象选取菜单项，即可通过矩形框的方式选择对象，然后，在对象面板中输入对象识别号、对象名和对象类型等标注内容，并在自由文本框中自由标注。最后进行语义关系标注，在面板中选择源对象和目标对象，填写关系类型，这三个面板标注完成后，单击下方的保存按钮，即将语义树中的标注内容写入开始指定的XML文档中。经系统标注而产生的XML文档是一个完全符合MPEG-7 MDS的描述文档，图像检索系统通过解析该文档可对标注的图像进行语义检索。

本系统原型仅完成了图像的语义标注，不具备底层特征的自动提取，还有待进一步改进。