基于网格计算的数据资源和应用系统集成

3.4.2　基于网格计算的数据资源和应用系统集成

3.4.2.1　网格计算的概念

网格计算(gridcomputing),就是通过网络连接地理上分布的各类计算机(包括机群)、数据库、各类设备和存储设备等,形成对用户相对透明的虚拟的高性能计算环境,应用包括了分布式计算、高吞吐量计算、协同工程和数据查询等诸多功能。网格计算被定义为一个广域范围的“无缝的集成和协同计算环境”。网格计算模式已经发展为连接和统一各类不同远程资源的一种基础结构。

1.网格计算的特征和优势

(1)异构性

由于网格由分布在广域网上不同管理域的各种计算资源组成,实现异构机器间的合作和转换是网格计算的首要问题。

(2)可扩展性

网格资源的规模是不断扩大与增长的,在不降低其性能的基础上,实现其可扩展性是一个值得探讨和研究的问题。

(3)动态自适应性

在网格计算中,某一资源出现故障或失败的可能性较高,资源管理必须能动态监视和管理网格资源,从可利用的资源中选取最佳资源服务,以保证网格计算的成功性。

2.网格计算环境的构建层次

(1)网格节点

网格节点由分布在Internet上的各类资源组成,包括各类主机、工作站甚至PC机,它们甚至是异构的,可运行在Unix、NT等各种操作系统下,也可以是上述机型的机群系统、大型存储设备、数据库或其他设备等。

(2)中间件

中间件是网格计算的核心,负责提供远程进程管理、资源分配、存储访问、登录和认证、安全性和服务质量(QoS)等。

(3)开发环境和工具层

提供用户二次开发环境和工具,以便更好地利用网格资源。

(4)应用层

应用层提供系统能接受的语言,如HPC++和MPI等。可配置其他一些支持工程应用、数据库访问的软件,还可提供Web服务接口,使用户可以使用Web方式提交其作业并取得计算结果。

3.4.2.2　网格理念在企业信息系统集成中的应用

业务流程会同时涉及到多个应用系统,因此要求这些系统能够协同,但接口、架构的不统一往往使得这些本应紧密集成的应用系统成为了一个个“信息孤岛”。于是,企业应用集成(Enterprise Application Integration,EAI)技术可以通过中间件作为粘合剂来连接企业内外各种业务相关的异构系统、应用以及数据源,从而满足E-Commerce、ERP、CRM、SCM、OA、数据库、数据仓库等重要系统之间无缝共享和交换数据的需要。

EAI解决方案通常涉及到JCA、JMS、Web服务以及XML等多种企业级技术。这些技术都已经成为业界的标准,从而可以最大化地保护客户投资。这些技术既可以被包含在相关产品中供用户透明地使用,也可以由用户自己在应用程序中加以调用。此外,SOA(面向服务的架构)随着各大厂商的追捧而变得炙手可热。虽然SOA本身不是一个全新的概念,但由于Web服务以及网格计算等技术的成熟,SOA具备了更好的发展条件。对于EAI来说,基于SOA的企业应用系统可以随着企业业务的变化而逐渐变化,能够实现“柔性化”的软件系统,从而降低实施EAI的成本和风险。

下面将通过EAI相关技术的阐述,尤其是面向服务架构(SOA)的技术思路,重点研究通过网格理念来实现应用系统整合的可能性和必要性。

3.4.2.3　电视台信息网格搭建的可能性

信息网格是网格计算模型的核心组件。它使最终用户和应用程序可以获得对任何信息源的安全访问,不管它在什么地方。这种访问可以通过内部网、Internet、甚至在一个外部网(Extranet)环境中的本地和分布式网络中进行。信息网格提供了对异质文件、数据库和存储系统的访问,并且它支持共享数据以用于处理和大规模的协作。

1.信息网格解决了以下难题

•由于以下原因产生的现有数据资源和资产的碎片:异质环境;未充分利用的计算和存储资源;

•笨拙的数据访问和糟糕的集成;

•数据安全和保护;

•对分散型系统和资源的复杂管理;

•IT基础设施高昂的总成本;

•灵活和难于改变的系统。

2.信息网格解决了管理信息的问题,这些信息跨越异质硬件和软件资源,包括数据库、文件和存储设备

3.信息网格对于SAN技术的支持

信息网格支持使用存储区域网络SAN技术。优化的解决方案包括SAN软件,它使系统管理员可以创建所有SAN存储设备的虚拟视图,使它们看来像是一个同质的集合。通常,客户安装了异质(多厂商)存储设备,每一家厂商的存储设备都有自己的管理控制台。因此,系统管理员很难高效地管理跨不同设备的数据存放,并保证数据平衡地装载到这些设备上。数据的非平衡分布使一些设备被过度使用,而另外一些设备未充分利用。这种不平衡的条件会在应用程序试图获取数据时导致瓶颈,并在处理数据时变慢。

信息网格支持虚拟化门户,它整合了所有SAN设备的视图。这个门户允许单个管理员看到数据装载到这些设备上的情况,并将数据从过度使用的设备上转移到未充分使用的设备上,同时不会干扰应用程序访问数据的方式。

类似地,异质文件系统的虚拟化可以帮助管理员管理复杂的SAN环境。为文件系统创建单一的名称空间可以帮助程序员和管理员更容易地找到并访问数据,因为他们不必再分别找出文件,并确定需要什么访问路径以引用这些数据。

SAN环境中的其他考虑包括错误检测和数据弹性(resiliency)。重要的是在向应用程序提供正确数据的同时,数据仍然是受保护的和安全的。

4.信息网格对于访问不同格式数据的支持

实践中,常常会有访问以不同格式存储的数据的需要。应用程序必须执行多个I/O请求以获取数据,这种要求延缓了作业的执行。构建和维护这种类型的应用程序的开发人员必须了解这些不同的格式,并且必须确定如何在它们的应用程序中将分散的数据结合到一起。

为了解决访问以不同格式存储的数据的挑战,信息网格支持对不同格式数据的虚拟访问。开发人员只需要简化对以混合格式存储的数据(如多家厂商的关系数据库和无格式文件)的访问,以便用一个SQL指令访问这些数据类型。这种简化还减少了通过网络移动远程文件的需要。通过虚拟化,数据不需要传输到处理位置(例如,通过FTP)。这种数据虚拟视图也称为对数据的联合(federated)访问,使数据看起来来自于同一种格式,即使数据是以混合的格式存储并且是分布式的。

5.信息网格对于网络带宽瓶颈的解决方案

为了解决必须跨网络移动大量数据以进行远程处理的问题,信息网格支持开发一种软件解决方案。这种解决方案将数据缓存到靠近分布式处理要发生的位置。理想的解决方案将包括全局命名、对一致的当前数据的安全广域访问,以及分布式数据访问(包括一个POSIX/NFS接口、访问控制和远程数据缓存)等。

3.4.2.4　将网格引入电视台内部系统建设的重要意义

网格计算为电视台内部IT基础设施引入了新概念,因为它支持由异质资源组成的网格上的分布式计算,并且是由开放标准支持的。电视台内部数据资源广泛,通过网格计算可以优化未充分利用的资源,降低资金支出,并减少总成本。这个解决方案涵盖了电视台信息管理的各个领域,这种环境中的信息包括了数据库、文件和存储设备中的数据。利用网格的理念对电视台内部各个网络进行业务整合,保障网络整合中的安全性,优化电视台内部信息管理,提高全电视台的工作效率。

网格计算技术为搭建电视台信息网格提供了可能,电视台内部的SAN存储区域网,各种不同格式的数据都可以通过信息网格提供的各种技术进行整合,并实现对数据的虚拟访问。从长远角度来讲,规划电视台网格的信息基础设施对于未来的全球信息、资源一体化共享也有重要意义。

3.4.2.5　利用ServiceDomain思想设计全台系统整合模型

按照企业应用集成EAI的规划思想和网格的理念的应用,电视台全台信息整合系统模型由网络化采编播存业务系统、综合管理系统及计算机网络整合信息平台三部分组成。通过网格服务和WEB服务的方式进行遗留系统之间的相互整合,实现电视台全台各个业务和管理流程的无缝连接,从而形成一个统一的信息整合业务平台。

ServiceDomain是IBM推出的服务网格(ServiceGrid)的实现技术。通过通用的服务接入点聚集相关的Web服务,采用自主计算的原理来融合Web服务和网格服务。

应用Service Domain技术实现服务网格的一个典型的例子,是在电视台中进行服务资源网格化和应用系统集成。通常在电视台中蕴含着丰富的计算资源,和广阔的应用领域。但是,电视台内部网络缺乏互联,越来越成为信息一体化的障碍。实现网络互连,并将这些服务资源方便地共享出来并在需要的地方方便地获取这些资源,是一个实际的需求。一体化的网络需要集成的应用系统,采用面向服务架构SOA的系统设计规划全电视台的业务应用系统,集成Web服务或网格服务实现各个遗留系统之间的集成,也是一个需求,Service Domain的设计思想能够满足这两种需求。

图3.7　ServiceDomain的电视台内部应用实例

在图3.7中,电视台的各个子网络都可以设立一个服务中心(SubHub),可以将电视台各个子网络的资源以服务的形式注册到各自的服务中心上。一般的应用可以注册成Web服务,而计算资源可以注册成网格服务。在各电视台的内部,通过获取服务中心的服务来使用资源。相同功能的服务注册到统一的接口(portType),由服务中心根据服务当前的负载和定制的调度策略为用户选择最佳的服务提供者。

电视台各个子网络的服务中心(SubHub)还可以注册到一个主控服务中心(Main Hub)上。这样,通过主服务中心(MainHub),电视台各个子网络的服务资源可以被全电视台识别并使用。例如,电视台存储子网络提供多媒体检索的服务,当用户登录到主服务中心(MainHub)申请多媒体检索服务时,由主服务中心根据用户的级别和当前服务的负载情况选择一个来为用户提供服务。