首页 理论教育 海量存储技术

海量存储技术

时间:2022-04-12 理论教育 版权反馈
【摘要】:实际上,正是海量存储技术的产生和发展才使数字图书馆的发展成为可能。海量存储技术应用最大的特点是没有标准的体系结构,目前磁盘阵列设备应用是DAS、NAS、SAN三种模式共存。从发展的角度来说,DAS已经难以满足当今的海量数据存储要求,限制了图书馆应用服务的不断发展。

随着数字图书馆的发展,各医学图书馆拥有包括视频和音频在内的各种数字资源,数据量的增加速度远远超过图书馆存储设备的预留容量,因此海量存储系统是网络化、数字化图书馆建设的重要组成部分。实际上,正是海量存储技术的产生和发展才使数字图书馆的发展成为可能。一个良好的存储系统应能满足图书馆数据的海量存储和不断增长的需要,同时能够适应网络环境不断提高的复杂性和扩展性。磁盘阵列存储系统作为海量存储的主要设备,在医学图书馆数字化资源建设中具有很重要的位置,并已广泛应用于数字医学图书馆中,作为数据库检索、信息下载、在线阅读、VOD点播、远程阅览和课程软件点播等应用的后台存储设备。海量存储技术应用最大的特点是没有标准的体系结构,目前磁盘阵列设备应用是DAS、NAS、SAN三种模式共存。

(一)DAS

DAS是Direct Attached Storage的缩写,即直接连接存储,是指将外置存储设备通过连接电缆,直接连接到一台计算机上。采用直接外挂存储的服务器结构如同PC机架构,外部数据存储设备采用SCSI技术或者光纤通道(fibre channel,FC)技术直接挂接在内部总线上,数据存储是整个服务器结构的一部分,在这种情况下往往是数据和操作系统都未分离。DAS这种直连方式,能够解决单台服务器的存储空间扩展、高性能传输需求,并且单台外置存储系统的容量也可以达到若干个TB。从费用方面来看,这种存储模式也是三种模式中最经济的。

DAS在数字图书馆发展早期应用较为普遍。这是因为早期的数字图书馆应用服务不多,数据量不很大,存储资源共享要求不高。但随着数字图书馆的不断发展,这种技术暴露了其最大的弊端:即一台DAS磁盘阵列一般只能与一台服务器连接,或者说一台服务器上的存储设备很难为另一台服务器所共享,一旦需要增加新的应用服务器,就要增加新的磁盘阵列。这既造成了存储资源的浪费,又对存储空间的管理十分困难。存储容量的扩展体现出了较强的刚性,即使某个磁盘阵列还有很大空闲空间,也无法提供给其他需要扩容的磁盘阵列使用,这就加大了投入。从发展的角度来说,DAS已经难以满足当今的海量数据存储要求,限制了图书馆应用服务的不断发展。

(二)NAS

NAS是英文Network Attached Storage的缩写,通常翻译为网络附加存储。NAS作为一种概念是1996年在美国硅谷提出的,其主要特征是把存储设备和网络接口集成在一起,直接通过网络存取数据。也就是说,把存储功能从通用文件服务器中分离出来,使其更加专门化,从而获得更高的存取效率,更低的存储成本。

NAS设备主要用来实现在不同操作系统平台下的文件共享应用,与传统的服务器或DAS存储设备相比,NAS设备的安装、调试、使用和管理非常简单,采用NAS可以节省一定的设备管理与维护费用。NAS设备提供RJ-45接口和单独的IP地址,可以将其直接挂接在主干网的交换机或其他局域网的集线器上,通过简单的设置就可以在网络即插即用地使用NAS设备,而且进行网络数据在线扩容时也无须停顿,从而保证数据流畅存储。NAS设备完全融合在已建立起来的网络中,它可以作为独立的数据存储设备搭配其他各种服务器,既保护了用户原有的投资,又将整个网络的性能提高到一个新的层次。此外,NAS设备采用集中式存储结构,摒弃了DAS的分散存储方式,网络管理员可以方便地管理数据和维护设备。

NAS具有扩展性好、数据吞吐量大、访问性能好、价位低等特点。它减轻了应用服务器的I/O负载,提高了网络性能,并支持异构平台;但是在访问速度、扩展性、存储能力等方面存在一定的缺陷。NAS更多地应用于网络中的文件服务器,在中小型图书馆有较好的应用前景。

(三)SAN

SAN是Storage Area Network的缩写,即存储区域网络。在SAN中,存储设备通过专用交换机到一群计算机上,在该网络中提供了多主机连接,允许任何服务器连接到任何存储阵列,让多主机访问存储器和主机间互相访问那样方便,不管数据存放在哪里,服务器都可直接存取所需的数据。同时,随着存储容量的爆炸性增长,SAN也允许独立地增加它们的存储容量。

在iSCSI出现以前,FC技术是建立SAN架构的唯一选择。因为采用了FC技术,SAN具有更高的带宽。FC使用全双工串行通信原理传输数据,在1Gb标准下,传输速率高达1062.5Mbps,即为100MB/s,双环可达200MB/s;在4Gb标准下,将达到前者的4倍。FC标准下可以通过同轴线、光纤介质进行设备间的信号传输,使用同轴线传输距离为30m,使用单模光纤传输距离可达10km以上,这使得在SAN模式下实现物理上分离的、不在机房的存储变得非常容易。FC-SAN的光纤基础结构使其造价非常昂贵,而随着iSCSI的出现,标志着低价化SAN的问世,即IP-SAN。所谓iSCSI亦即透过IP网络,将iSCSI区块数据转换成网络封包的一种传输标准。它和NAS一样透过IP网络来传输数据,所以可以采用现有已成熟的管理工具及基础设施,在数据传输距离上几乎没有限制。简单来说,IP-SAN就是把FC-SAN中光纤通道解决的问题通过更为成熟的以太网实现了。因此,IP-SAN使用常规以太网交换机而不必专用光纤通道交换机,很大程度提高了互操作性,同时可以创建总体拥有成本(TCO)更低的SAN。从总体上来说,IP-SAN具有FC-SAN的大部分优点,但是在性能上与FC-SAN还有一些差距。

海量存储技术可以把数字图书馆购买的DAS、NAS、SAN架构存储汇集成一个“虚拟存储池”,数字图书馆的音频、视频、文字、图片等各种格式的数据存放在这个“虚拟存储池”中,所有基于网络的与磁盘阵列有关的问题都由海量存储管理系统处理,实现了无缝的存储和数据管理。这种管理方式避免了因存储环境发生故障引起的数据损坏、丢失;发生故障时还能提供快速、高效、灵活的本地或远程恢复,提高了数据的安全性。海量存储技术对现有系统的高兼容性,可以实现多机种服务器环境中的集中化存储。安装了不同操作系统的不同服务器可以与一个庞大的集中化存储池连接并同时共享该存储池,这样就简化了存储容量和应用服务的管理,满足服务器上的应用服务能够提供负载均衡和故障切换功能,同时也充分发挥现有系统的性能,从而提供一个高性能、安全、稳定、可靠、可扩展的存储网络和应用服务平台。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈